这是我参与11月更文挑战的第7天,活动详情查看:2021最后一次更文挑战
从近期行业反馈看,数据中台对于企业重要性毋庸置疑,或者说基于企业内外部数据的体系化管理,数据价值深度分析挖掘的需求越来越明确。
目前主流的数据中台架构成型于电商和金融行业,从标准大数据数仓演化,与传统企业数据仓库相比,增加了数据湖、非结构化/半结构化数据存储,实时计算,数据API服务等能力,在企业中,按不同阶段与成熟度可起到如下价值:
- 企业内部数据的统一汇集平台(可理解为传统意义数仓,或企业已存在的分领域数仓的聚合);
- 若企业无主数据系统,可作为企业轻量级主数据管理或数据mapping关系管理平台;
- 企业领域数据模型管理,并以此形成企业各领域数据资产;
- 企业指标、标签管理平台;
- 企业数据集市底座;
- 企业数据银行底座;
- 企业数据API底座;
- 企业数据可视化应用底座;
- 数据资产门户; 数据中台技术架构一般是基于Hadoop和Spark体系相关技术,融合数据采集、分析、存储能力,以Spring boot/微服务形态对外提供服务(API+自助式服务门户,这也是从技术层面与大数据仓库最大的不同)。
数据中台最大业务价值体现在建立统一的数据模型(可与按照业务领域建模的逻辑,识别领域对象,以及相关关键属性及行为,形成数据域资产)、统一的指标口径(指标定义、计算模型、数据源描述等信息)、统一的数据访问权限管理。按照OneData,OneID,OneService的原则,数据只抽取一次,通过集中式的数据域和数据指标,服务于数据集市中的多方数据应用,保障数据服务的一致性和安全性。
附:常用数据主题域及关键业务指标