数据治理

194 阅读12分钟

数据治理

数据化时代,如何使数据发挥出重大作用,这就是数据治理的意义。

第一章 全面认识数据治理

本章主要讲述什么是数据治理,以及企业数据治理的价值、问题和挑战。

1.1 什么是数据治理

国际数据管理协会(DAMA)给出的定义:“数据治理是对数据资产管理行使权力和控制的活动集合”。
本书作者认为,所有为提高数据质量而展开的技术、业务和管理活动都属于数据治理范畴。

1.2 数据治理相关术语和名词

  • 数据元
    "用一组属性描述定义、标识、表示和允许值的数据单元"
    数据元由三部分组成:对象、特性和表示。数据元是组成实体数据的最小单元。例如个人信息中,手机号为数据元,"177**"为数据元的值。
  • 元数据
    "描述数据的数据或关于数据的结构化数据"
    数据治理中,元数据是对数据的描述,存储着数据的描述信息,让数据更容易理解、查找、管理和使用。他是数据治理中的核心要素。
  • 主数据
    "企业内需要在多个部门、多个系统之间共享的数据"
    比如说客户、供应商、组织、人员等。与波动较大的交易数据相比,主数据变化较慢。主数据是企业开展业务的基础,只有得到正确的维护,才能保证业务系统的参照完整性。
  • 业务数据
    "业务活动过程或系统自动产生的既定事实的数据,也称为交易数据"
    主要面向应用,为业务提供服务,例如生产、销售、采购、设备管理等。
  • 主题数据
    "根据数据分析的需要,按照业务主体对数据所做的一种组织和管理方式"
    主题数据是分析型数据,是按照一定业务主题域组织的,服务于人们在决策时所关心的重点方面。一个主题数据可以由多个主数据和业务数据组成,其一般是汇总的、不可更新的、用于读的数据。
  • 数据仓库
    "一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合,用于支持管理决策"
    数据仓库是数据库的一种概念上的升级,本质并无区别。数据仓库是数据挖掘技术的关键和基础。
  • 数据湖
    "以一个原始格式存储数据的存储库或系统,无需事先对数据进行结构化处理"
    数据湖可以存各种各样的数据,结构化、非结构化和二进制数据都可以。他可以更方便、以更低的成本解决不同数据结构的统一存储问题。

1.3 数据治理治什么

数据治理不是对"数据"的治理,而是对"数据资产"的治理。

1.3.1 什么是数据资产

并非所有数据都是数据资产,数据成为数据资产,至少要满足4个核心条件

  • 是企业的交易或者事项形成的
  • 由企业拥有或控制、
  • 预期会给企业带来经济效益
  • 成本或价值可衡量

1.3.2 数据资产的的利益相关方

  • 数据的生产者
  • 数据的拥有者或控制者
  • 数据价值和经济利益的受益者

1.3.3 对利益相关方的协调和规范

  • 数据的标准化
  • 数据的确权
  • 流程的优化

1.4 数据治理的六个价值

  • 降低业务运营成本
  • 提升业务处理效率
  • 改善数据质量
  • 控制数据风险
  • 增强数据安全
  • 赋能管理决策

1.5数据治理的五类问题

  • 黑暗数据
  • 数据孤岛
  • 数据“巴别塔” 即彼此标准不互通
  • 糟糕的数据质量
  • 数据的安全风险

1.6数据治理的六个挑战

  • 对数据治理的业务价值认识不足
  • 缺乏企业级数据治理的顶层设计
  • 高层对数据治理不够重视
  • 数据标准不统一,整合困难
  • 业务人员普遍认为数据治理是IT部门的事
  • 缺乏数据治理组织和专业的人才

第二章

本章主要介绍国内外的主流数据治理框架和标准

2.1 国际数据治理框架

2.1.1 ISO数据治理标准

2.1.2 DGI数据治理框架

DGI(数据治理研究所)是业内最早、最知名的研究数据治理的专业机构。DGI于2004年推出DGI数据治理框架。

2.1.3 DAMA数据管理框架

DAMA(国际数据管理协会)是一个由全球性数据管理和业务专业的志愿人士组成的非盈利协会,致力于数据管理的研究和实践。

2.2 国内数据治理框架

2.2.1 GB/T 34690 规定的数据治理规范

2.2.2 数据管理能力成熟度评估模型

GB/T 36073-2018《数据管理能力成熟度评估模型》(DCMM)是在国家标准化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家标准,于2018年发布并实施。

第三章 企业数据怎么治

本章相当于全书的一个缩影,整本书都围绕企业数据治理的9个要素、4个层面展开。

3.1 企业数据治理体系的内涵

3.1.1 数据治理、数据管理和数据管控

  • 数据治理是金字塔的顶层,是企业顶层设计、战略规划方面的内容,是数据管理活动的总纲和指导,它指明数据管理过程中有哪些决策要制定、由谁负责,更强调组织模式、职责分工和标准规范。
  • 数据管理是执行和落实数据治理策略并在过程中给予反馈,强调管理流程和制度,涵盖不同的管理领域,比如元数据管理、主数据管理等。
  • 数据管控侧重于执行层面,是具体落地执行所涉及的各种措施,例如数据建模、数据分析等。数据管控的目的是确保数据被管理和监控,从而让数据更好的利用。

3.1.2 企业数据治理的9个要素

  • 数据战略
  • 组织机制
  • 数据文化
  • 管理流程
  • 管理制度
  • 数据
  • 人才
  • 技术
  • 工具

3.1.3 企业数据治理的4个层面

  • 战略层面(道)
    数据战略、组织机制、数据文化
  • 管理层面(法)
    理现状与定目标、数据治理能力成熟度评估、数据治理路线图规划、数据治理保障体系建设、数据治理技术体系建设、数据治理策略执行与监控等,强调数据治理的流程、制度和方法。
  • 执行层面(术)
    建立数据治理各项技术能力,实现对各项数据资源的有效管理和控制,强调数据治理的具体操作和技术。
  • 工具层面(器)
    强调对技术和工具的使用。企业数据治理涉及的工具有主数据管理工具、元数据管理工具等等。

3.2 企业数据治理之道

企业数据治理之道是构筑“数据战略+组织机制+数据文化”的数据治理生态,形成数据治理的自我驱动、自我进化、可持续发展和长效运营机制。

  • 数据战略是指导企业数字化转型的方略
  • 敏捷的组织机制是企业数字化转型的关键
  • 要将数据思维融入到企业的文化中

3.3 企业数据治理之法——8项举措

  • 理现状,定目标
  • 数据治理能力成熟度评估
  • 数据治理路线图规划
  • 数据治理保障体系建设
  • 数据治理技术体系建设
  • 数据治理策略执行与监控
  • 数据治理绩效考核
  • 数据治理长效运营

3.4 企业数据治理之术——7种能力

  • 数据梳理与建模
  • 元数据管理
  • 数据标准管理
  • 主数据管理
  • 数据质量管理
  • 数据安全治理
  • 数据集成与共享

3.5 企业数据治理之器——7把利剑

  • 数据模型管理
  • 元数据管理
  • 数据标准管理
  • 主数据管理
  • 数据质量管理
  • 数据安全治理
  • 数据集成与共享

第四章 数据战略:数字化转型的灯塔

4.1 数据战略的定义

DAMA的定义为:一组选择和决定,这些选择和决定共同制定了实现高级目标的高级行动方案。
DCMM的定义为:数据战略是组织开展数据工作的愿景、目的、目标和原则。它包含数据战略规划、数据战略实施和数据战略评估。
本书作者认为,数据战略必须来自对业务战略中固有数据需求的理解,这些需求驱动了企业的数据战略。

4.2 数据战略与企业战略、数据架构的关系

企业战略是对企业经营活动预期的成果的期望值,企业战略的最终实现离不开对数据的有效利用。
数据架构是数据战略的一部分,实施数据架构的决策是战略决策,数据架构是企业策略和技术执行之间的桥梁。

4.3 数据战略的3个要素

战略定位、实施策略和行动计划

4.3.1 战略定位

战略定位回答了“做什么”和“不做什么”的根本问题,用来定义战略目标。同时,规划设计不仅要有对齐企业战略的“长期目标”,还要兼顾解决当前问题的“短期目标”。

4.3.2 实施策略

实施策略解决的是“怎么做”、“由谁做”、“做的条件”、“成功原因”等问题,是战略落地的“制胜逻辑”。

4.3.3 行动计划

行动计划是为落实战略目标或指导方针而采取的具有协调性的计划安排。

4.4 实施数据战略的5个步骤

数据战略的制定以企业战略为基础、以业务价值链为模型、以管理应用为目标、以可执行的活动为步骤,基于系统化的思维挖掘信息以及信息间的规律,并经过科学的规划和设计,形成企业数据化运营的蓝图。

4.4.1 环境因素分析

  • 内部环境因素
  • 外部环境因素

4.4.2 确定战略目标

企业的数据战略目标需要与企业内外部环境相匹配,以便随着环境的变化对数据战略目标进行灵活调整。在数据战略目标的制定过程中,需要遵循以下原则:

  • 数据战略来源于企业战略并服务于企业战略
  • 数据战略的制定要立足于企业现状
  • 数据战略目标需要全员贯彻

4.4.3 制定行动方案

在确定了数据战略目标之后,需要对战略目标进行分解,将一个大目标分解成若干个可执行、可量化、可评估的小目标。

4.4.4 落实保障措施

为实现数据战略而建立的保障措施主要有数据治理保障体系及技术和工具体系。

4.4.5 战略评估与优化

战略评估是以战略实施过程及其结果为核心,通过对影响并反映战略管理质量的各要素进行总结和分析,判断战略能否实现预期目标,以便对数据战略做出优化和调整。

第五章 组织机制:敏捷的治理组织

“数据”“组织”“软件平台”是企业数字化转型面临的“三座大山”。

5.1 什么是敏捷组织

敏捷组织就是能灵敏感知环境并迅速应对的组织。其是一个成长快、非常有活力的组织。敏捷组织有如下特点:

  • 架构灵活
  • 数据驱动
  • 员工能动
  • 领导作用
  • 动态资源

5.2 为什么数据治理需要敏捷组织

传统的组织架构难以应对多变的市场变化形式,打造敏捷型的组织机制是企业数字化转型的首要任务。

5.3 如何构建敏捷组织

构建敏捷组织需要从5个方面入手:

  • 以客户为中心
  • 以数据驱动
  • 重新定义IT
  • 业务与IT深度融合
  • 培养复合型人才

第六章 数据文化:数据思维融入企业文化

大数据时代,信息泛滥,数据价值密度低下。想要在繁杂的大数据中快速找到价值数据,并依靠数据发现、分析、解决跟踪问题,企业必须要有数据思维和数据文化。

6.1 什么是数据思维

简单来说,就是用数据思考,用数据说话,用数据决策。

6.2 怎么建立数据思维

  • 自上而下的推动
  • 营造数据驱动的文化氛围
  • 建立循序渐进的培训机制
  • 从实践中求真知

6.3培养数据文化的3个方法

培养数据文化不能“个人英雄主义”,不是让一个人或一部分拥有数据思维,而是培养企业全体人员的数据思维和团队协作文化。

  • 打破数据孤岛,实现共享数据。要打破技术屏障和部门墙。
  • 建立制度体系,固化数据文化
  • 推行数据治理,增强数据文化

Part 3 数据治理之法

第七章 理现状,定目标

数据治理之前,最重要的是要理清楚现状,一步步确定企业数据治理的项目目标&范围。

第八章