AIIData数据中台集成OpenMetadata开源项目,成功运行MySQL数据血缘拾取任务,支持库级别+表级别+字段级血缘!

1 阅读3分钟

在这里插入图片描述

在这里插入图片描述 AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速接入MySQL数据源,自动抽取表级、字段级数据血缘关系,完整还原数据流转全链路,统一企业元数据标准口径,有效压降数据治理成本,大幅提升数据溯源、故障排查效率。

1、零代码配置,快速完成数据源接入

依托可视化配置界面,仅需填写 MySQL 连接信息、勾选待采集数据库与数据表,即可一键发起元数据、血缘关系采集任务。无需手动编写采集脚本、解析 SQL 语句,大幅减少定制化开发投入,上手门槛极低。

2、采集稳定可靠,适配生产级运维要求

内置定时增量采集、任务失败自动重试、异常告警推送三重机制,规避元数据缺失、血缘关联错乱等问题,完全满足企业生产环境中元数据常态化采集、稳定运维的严苛需求。

3、全链路血缘可视化,问题定位高效直观

上下游数据流转链路、任务执行历史、采集运行日志全程可追溯;同时支持表级、字段级精细化血缘展示,数据来龙去脉一目了然,排查问题不用逐层翻代码梳理。

💎项目地址:github.com/open-metada…

💎文档地址:docs.open-metadata.org/latest

在这里插入图片描述

1、打开元数据管理平台

在左侧菜单栏找到并点击【元数据管理平台】,进入平台首页。 在这里插入图片描述

2、 打开设置页面,点击服务

顶部导航栏打开【设置】页面,在设置功能面板中,点击【服务】功能卡片,进入服务配置列表。 在这里插入图片描述

3、点击数据库

点击【数据库】即可进入数据库相关配置界面,后续可开展数据源新增、连接配置等操作。 在这里插入图片描述

4、添加新服务

点击添加新服务按钮,打开数据源类型选择弹窗,准备创建数据库连接服务。 在这里插入图片描述

5、找到MySQL选择,下一步

在数据源类型列表中,选中MySQL数据源类型,确认后点击【下一步】进入基础信息填写页。 在这里插入图片描述

6、填写服务名以及描述

自定义填写当前MySQL服务名,按需补充备注描述信息,核对信息无误后点击【下一步】。 在这里插入图片描述

7、输入数据库连接信息

填写 MySQL 数据库连接详情:数据库登录账号、密码、IP 地址 + 端口号、数据库实例名;参数填写完成后,点击【测试连接】校验数据库连通性。 在这里插入图片描述

8、测试连接

若弹窗提示连接成功,代表数据库网络、账号密码、参数配置无误,直接点击【下一步】进入高级配置页面;

若连接失败,排查 IP 端口、账号权限、防火墙、驱动配置问题后重新测试。 在这里插入图片描述

9、默认配置,Save

若无指定库、表过滤需求,高级配置保持系统默认配置,确认全部配置信息后点击【Save】 按钮,完成MySQL数据源服务创建提交。 在这里插入图片描述

10、服务创建完成

系统跳转服务列表页面,MySQL数据源状态为创建完成,代表 MySQL 服务配置落地成功。 在这里插入图片描述

11、拾取自动开始,等待拾取完成

选中刚创建的MySQL数据源服务,点击【触发AutoPilot】按钮可立即启动元数据拾取;如需长期自动同步,点击【添加代理】配置定时采集任务,等待拾取任务运行完成即可加载完整库表资产与数据血缘。 在这里插入图片描述

12、拾取完成

元数据代理 Metadata Agent执行状态为Success 即拾取完成,MySQL的库、表、字段全量基础元数据已同步至平台。 在这里插入图片描述

13、查看数据血缘

元数据拾取完成后,即可基于当前 MySQL 资产查看上下游数据流转关系,逐层查看库、表级血缘链路。 在这里插入图片描述

13.1 库 在这里插入图片描述 13.2 表 在这里插入图片描述

13.3 数据血缘图 在这里插入图片描述