大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。 但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大…

本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景

今天想跟大家一起入门一下kylin（麒麟）。 由于工作需要，前段时间对kylin简单入了个门，现在来写写笔记（我的文字或许能帮助到你入门kylin，至少看完这篇应该能知道kylin是干什么的）。 从官方我们可以看到对kylin的介绍：Apache Kylin™是一个开源的、分布…

本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。 数据质量管理主要解决「数据质量现状如何，谁来改进，如何…

如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法： 简单点，其实元数据相当于数据的户口本。 户口本是什么？它除了包含个人姓名、年龄、性别、身份证号码等各种基本描述信息外，还有这个人和家人的血缘关系，…

根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系，大数据的标准体系框架共由七个类别的标准组成，分别为：**基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应用标准。**本文主要阐述其中的第二个类别：数据标准。 数据标准这个词，最早…