数据中台

122 阅读5分钟

我们需要搞明白以下几个问题:

  • 1、数据中台是什么?为什么叫数据中台?
  • 2、为什么需要数据中台?
  • 3、数据中台 VS 数据平台 VS 数据仓库

1、数据中台是什么?数据中台的产生背景?为什么叫数据中台?

       首先给出定义,数据中台是实现企业全面数据化的一个解决方案,是企业级能力复用平台。这里提到两个关键字:全面数据化、能力复用。因此,数据中台的核心是在宏观层面、企业整体层面,构建统一的数据中心平台,集成和管理组织内的各类数据资源,提升数据的可用性、可管理性和可信度。数据中台是数据治理和数据架构演进的一部分,通过整合数据、标准化管理、提供数据服务等方式,实现企业数据的集中管理与分发。

       互联网高速发展,业务场景不断增加,初期阶段为了快速响应业务需求,很多企业都不同程度的存在烟囱式开发。什么是烟囱式开发呢,烟囱式开发就类似于独立的烟囱,各自为政,缺乏整体的协作和一致性。那么从企业整体角度看,每次来一个新需求,一个新的业务场景,就要另起炉灶,导致不同业务线之间的数据是割裂的,也就造成了数据重复加工、指标口径不一致、存储和计算资源的浪费等问题。在这个背景下,数据中台的概念应运而生。

       为什么叫数据中台呢?这个术语中的"中台"指的是在业务前台(如业务应用、用户界面)和基础设施后台(如数据库、存储、计算资源)之间的一个中间层。在数据中台的概念中,它位于整个数据处理流程的中部、中间地位,负责连接和协调各个数据源、数据处理模块和数据消费端。

2、为什么需要数据中台?

       基于上文提到的数据中台产生的背景,从企业整体出发无法做到信息的互联互通,导致形成了多个数据孤岛,数据中台存在的意义就是打破数据孤岛,实现数据共享、数据复用,将不同的业务场景的通用能力抽离出来,降低与业务部门的耦合性。

       阿里在组织架构层面成立了单独的中台部门即“共享业务事业部”,系统层面建设了用户中心、支付中心等共享服务同时支持淘宝、天猫、1688 等业务条线,最终也实现了快速的前台产品研发。这些中台服务被统称为“业务中台”。通过这个故事,我们可以得出第一个结论。中台应该提供“共享服务能力”,这种共享源于对业务场景的抽象、提炼、沉淀。

       传统的IT架构通常是由前台和后台组成,前台系统接触用户,后台系统提供基础服务。两者一个需要快速灵活,一个需要稳定高效,从设计目标就显示出矛盾,在变更速率上不匹配,制约了对用户需求的快速相应。中台的诞生衔接了前后台系统,保证后台稳定性的同时也支持了前台的灵活性。

3、数据中台 VS 数据平台 VS 数据仓库

(1)数据中台

  • 数据中台是一个更为综合和全面的概念,它涵盖了整个数据管理生命周期,包括数据的采集、存储、处理、管理、服务化等方面。数据中台旨在通过建立一个统一的数据中心平台,将组织内的各类数据资源整合在一起,提供标准化的管理和服务化的接口,以支持多样化的数据应用场景。

  •  数据中台强调数据的集中管理、标准化和服务化,着眼于连接业务前台和基础设施后台之间的中间层。它并非特指某个具体的技术实现,而更多是一种数据管理和治理的理念。

(2)数据平台

  • 数据平台通常是一个更广义的术语,它包括了数据中台在内,并还涵盖了更多的数据处理和计算能力。数据平台可以包括数据中台的功能,同时还扩展到支持大规模数据处理、实时计算、机器学习等高级数据应用。

  • 数据平台强调整个数据处理的范围,它可能包含数据中台的元素,也可能包括更广泛的数据处理工具和框架,如分布式计算框架(例如Apache Hadoop、Apache Spark)、流处理系统等。

(3)数据仓库

  • 数据仓库是数据平台的一部分,主要用于存储和分析结构化数据。数据仓库通常用于支持企业的决策支持系统和报表分析,提供对历史数据的高性能查询和分析。

  • 数据仓库是数据平台中的一个特定组件,其主要职责是存储和管理结构化数据,通常采用关系型数据库管理系统(RDBMS)。而数据平台和数据中台的范围更广,可能包括非结构化数据、实时数据处理等更多的数据管理和处理功能。

综合而言,数据中台是数据管理和治理的理念,数据平台是一个更广泛的术语,而数据仓库则是数据平台中的一个特定组件。

www.cnblogs.com/ivan-uno/p/…

blog.csdn.net/weixin_4600…alltop_positive~default-2-125522830-null-null.142^v99^control&utm_term=%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0&spm=1018.2226.3001.4187