用户1856816344202

数据建模乍一听的时候感觉非常的有技术性，并且外行感觉非常的高大上，高深莫测。 数据建模简单来说就是基于对业务的理解，将各种数据进行整合和关联，并最终使得这些数据可用性，可读性增强，让使用方能快速的获取到自己关心的有价值的信息并且及时的作出响应，为公司带来效益。 数据建模是一套方…

如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法： 简单点，其实元数据相当于数据的户口本。 户口本是什么？它除了包含个人姓名、年龄、性别、身份证号码等各种基本描述信息外，还有这个人和家人的血缘关系，…

数据的一组固有属性满足数据消费者要求的程度。 正确的，数据是现实世界的真实反映。 数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据…

本文中介绍的非功能性规范均为建议性规范，产品功能无强制，仅供指导。 《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部 著。 数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。随着业务的增加，数据的应用越来越多，企业在创建的数仓过程中对数据的管理也…

及时性：数据需要及时产出，一般离线系统需要看到前一天的数据，实时系统要求更高。 主要是对数据进行资产等级划分，高等级资产代表对报表质量准确性，风险性要求较高，甚至可能给公司带来损失等，反之，风险低，损失低；不同等级数据在ETL等过程则采用不同的处理方式，例如数据检验级别不同。 …

数据质量在任何系统当中都是十分重要却容易被忽视的一部分。构建完整的数据质量管理体系，既是支持企业系统稳定运行的基本保障，同时也是企业进行数字化转型、创新的必备条件。

概述 随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时