浅谈数据:为什么数据治理在企业数字化转型中扮演重要角色?

1,218 阅读5分钟

引子

“生命是靠负熵来维持的。” --《何为生命》埃尔温·薛定谔

在如今的互联网时代,数据是企业重要的资产。我们无时无刻不在产生数据:每一次打开手机应用,每一次网购下单,甚至每一次驾车穿过红绿灯,都会产生数据。数据无处不在。在企业中也更是如此。如此之多的原始数据,加上日渐成熟的数据分析技术,让企业家们大为兴奋,因为这就是企业堆积如山的金矿啊。然而,事情并没有想象中的这么简单,要从这些杂乱无章的酷似垃圾堆的所谓 “金矿” 中提取有价值的宝贝,并不容易。笔者之前的文章《浅谈数据:数据领域需要掌握些什么?》也稍微提到了数据治理(Data Governance)这个概念。本篇文章将从企业数据管理的角度,介绍数据治理是如何在混乱的企业数据中创造价值的。

数据孤岛问题

中大型企业(一般超过 100 人,且有多个职能部门)在快速发展业务的同时,也会遭遇管理混乱的问题。销售部门有着自己的销售统计数据,通常是庞大而分散的 Excel 或者简单的在线表单;IT 部门自己建立且管理一套资产和库存系统;HR 部门又维护着一整个人员统计名单。而这样的情况会导致不少头疼的事情:大老板抱怨每周才能收到整个公司运营的管理报表;经理们看着报表中忽上忽下的数据,怀疑着真实性;基层员工加班加点整理好老板要的数据,却被质疑数据有问题。熟悉么?这些都是企业中经常发生的问题,其直接原因就是所谓的数据孤岛(Isolated Data Island)问题。

Isolated Data Island

数据孤岛发生的主要原因是来自于各个部门或团队数据不连通。很多时候,因为业务高速发展,一些团队需要快速建立一套数据系统,但又无法及时开发出来,因此只能采用 Excel 或一些快速而有效的数据录入工具来保证业务运营效率。随着业务的增长,这些野路子数据管理模式不断衍生出新的内部流程,到一定规模后瓶颈会逐渐显现出来,特别是在需要与其他部门或外部系统集成关联的时候。

当老板们意识到数据孤岛的问题之后,想要改变的时候,多数时候会显得举步维艰。这是因为他们要解决的问题很多如下之类的问题:

  • 格式标准(Format and Standard):营销部门的每月销售数据可能存在各个 Excel 文件,而产品部门则是存储在 SQL Server 数据库中;
  • 统计口径(Statistical Caliber):会计金融部门的最小统计口径为每月,但营销部门精确到每一订单;
  • 关联性(Association):营销部门是用的订单编号,而产品部门用的是数据库订单 ID;
  • 规模(Scale):成千上万的格式不统一的 Excel 文件,难以进行快速处理。

数据治理

现在所谓的数据治理,其实就是利用数据整合工具对数据孤岛问题进行解决。如下图,数据治理团队会将各个部门的业务数据整合、清洗、转换、存储在数据仓库(Data Warehouse)中,最终供给整个组织使用。通过数据治理和数据仓库,各个业务部门的数据孤岛被连通,各类数据通过一定关联整合,能够发现很多洞见(Insights)。例如,营销团队会惊讶的发现自己的主要客户竟然很少用APP!

Data Governance

不过,上图是一个简化的流程。真正的大型企业或组织会比这个更复杂,可能需要涉及组织、文化、政治、业务性质等多方面因素的考虑。这也是为什么,很多大中型企业,特别是习惯了传统 Excel 报表的企业在数字化转型方面会遇到重重阻碍

对于数据治理团队来说,成功的关键不在于技术,而在于对业务流程企业文化的熟悉和把握。如何清洗和转换数据都有现成的工具和技巧,但业务流程和企业文化往往不那么直观。这需要数据治理团队有良好的沟通能力业务能力。成功的数据治理,需要不仅是实用的工具和技术,更重要的是与各个业务团队打交道的智慧

Success Factors of Data Governance

不断精进

企业发展离不开数据洞见,但要实现数据驱动决策(Data-Driven Decision Making),往往还需要业务部门之间的沟通和交流。这也是为什么很多企业都开始向敏捷(Agile)转型,这里可以参考笔者之前的文章《浅谈敏捷:你的团队在正确实践敏捷吗?》。数据治理需要做的更多是理解业务,思考如何利用数据整合优化业务,从数据洞见中创造更多价值。

社区

如果您对笔者的文章感兴趣,可以加笔者微信 tikazyq1 并注明 "码之道",笔者会将你拉入 "码之道" 交流群。

本篇文章英文版同步发布在 dev.to,技术分享无国界,欢迎大佬们指点。