从零到一建设数据中台 - 元数据模型与主数据建设

168 阅读2分钟

在这里插入图片描述

一、数据源管理

平台需提供常见数据源集成与管理,关系型数据、非关系型数据库、Excel数据源、第三方系统与API数据模型作为数据源等。 在这里插入图片描述 数据源管理主要功能构成:

  • 数据目录分类:实现数据目录的分类设置;
  • 数据源管理:新增、编辑、维护数据库信息;
  • 标准数据管理:管理对象为字典、数据元(用于业务方标准化管理业务字段),形成数据标准体系。
  • 数据资源管理:对数据资源进行目录化管理,形成有层级、有结构的数据资源集市。

元数据管理

  • 元数据定义:元数据是描述数据的数据。是描述数据的组织、数据域及其关系的信息。元数据分为三种类型:业务元数据、技术元数据、操作元数据。
  • 业务元数据:是描述数据的业务含义、 业务规则等。常见的业务元数据有:业务定义、业务术语解释等;业务指标名称、计算口径、衍生指标等;业务引擎的规则、数据质量检测规则、数据挖掘算法等;数据的安全或敏感级别等。
  • 技术元数据:是结构化处理后的数据,方便计算机或数据库对数据进行识别、 存储、 传输和交换。 常见的技术元数据有:物理数据库表名称、列名称、字段长度、字段类型、约束信息、数据依赖关系等;字段级血缘关系、SQL脚本信息、ETL信息、接口程序等;调度依赖关系、 进度和数据更新频率等。数据存储类型、位置、数据存储文件格式或数据压缩类型等;
  • 操作元数据:是描述数据的操作属性,包括管理部门、管理责任人等。常见的操作元数据有:数据所有者、 使用者等;数据的访问方式、访问时间、访问限制等;数据访问权限、组和角色等;数据处理作业的结果、系统执行日志等;数据备份、归档人、归档时间等。

在这里插入图片描述 元数据管理主要功能构成:

  • 元数据管理:元数据是所有系统、文档和流程中包含的所有数据的语境,是数据的知识。
  • 元模型管理:获取并展示不同数据库类型的元模型元素及属性信息;
  • 元数据注册:包括表、视图、索引、字段、列族、消息等各类元模型下的元数据;
  • 元数据查看:按数据源查看已注册的所有元数据,并可查看元数据的关联关系、血缘关系。

三、主数据体系建设

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

– 欢迎点赞、关注、收藏【我码玄黄】,gonghao同名