数据质量问题一直是大数据分析系统关注的重点,如何发现数据质量问题,提升数据质量,一直是各生产及业务系统的追求点。通过此课程,可迅速掌握发现数据质量问题的方法,解决数据质量问题。
- 数据质量顾名思义就是数据的质量
- 数据质量是数据分析结论有效性和准确性的基础,也是最重要的前提和保障
- 数据质量是数据分析应用的基础,为了获得可靠的数据,企业必须密切关注数据质量,数据质量将是直接影响系统应用成功的关键
什么是数据质量管理?
- 数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控预警等一系列管理活动
- 数据质量管理,不仅包含了对数据质量的改善,同时还包括了对组织的改善。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容。针对组织的改善和管理,主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审判机制、实施改进、评估改善效果等多个环节。
为什么进行数据质量管理?
- 企业数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力,并在经济动荡时期立于不败之地
- 大数据时代,如果没有良好的数据质量,大数据将会对决策产生误导,甚至产生不可估量的结果
- 目前,分析系统中的数据流转和处理环节越来越多,数据越来越复杂,数据质量出错的环节也就越来越多
- 为保证数据更好的为公司及企业的战略提供正确、有力的支撑,必须就要保证数据质量的准确,进而必须要进行严格的数据质量监控,以保证数据的可靠性、高质量
内容列表
介绍什么是数据质量,数据质量对于数据分析、应用的重要性。
介绍可能会影响到数据质量的因素,以及这些因素分别会如何影响数据质量。
常见的数据质量问题的类型,以及各自的特点和影响。
介绍本课程中用到的阿里云产品大数据计算服务和大数据开发套件。
演示本课程中用到的阿里云产品大数据计算服务和大数据开发套件。
介绍项目背景、项目实施流程以及其中的关键步骤和技术
本实验通过MaxCompute对一家销售公司的经营数据进行监控,并最终输出数据质量监控报告。