AIIData数据中台集成OpenMetadata开源项目,成功运行Hive数据血缘拾取任务,支持库级别+表级别+字段级血缘!

0 阅读3分钟

在这里插入图片描述

在这里插入图片描述

AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速对接Hive数据源,自动抽取表级与字段级数据血缘关系,全景还原数据流转全链路。通过统一企业元数据标准口径,能够有效压降数据治理成本,大幅提升数据溯源与故障排查效率。

1、一键启动采集,自动同步元数据、解析数据血缘

基于 Hive 数仓架构搭建轻量化可视化配置界面,只需填写集群连接与认证信息、选定库表类型,即可一键启动全量采集任务,自动完成元数据同步与数据血缘智能解析。

2、专属采集适配方案,保障生产运维稳定性

针对 Hive 分层存储、分区迭代、批量计算场景,配备增量分区采集、断点续跑、超时重试、异常告警四大能力,适配线上常态化运维。

3、全链路血缘可视化,精准追踪数据流转脉络

打通数据接入、分层加工、任务调度、数据输出的完整业务链路,实现全流程血缘可视化呈现。支持直观查看数据上下游依赖关系、SQL执行明细、调度运行历史及完整采集日志。

💎项目地址:github.com/open-metada…

💎文档地址:docs.open-metadata.org/latest

在这里插入图片描述

1、打开元数据管理平台

在左侧菜单栏找到并点击【元数据管理平台】,进入平台首页 在这里插入图片描述

2、 打开设置页面,点击服务

顶部导航栏打开【设置】页面,在设置功能面板中,点击【服务】功能卡片,进入服务配置列表。 在这里插入图片描述

3、点击数据库

点击【数据库】即可进入数据库相关配置界面,后续可开展数据源新增、连接配置等操作。 在这里插入图片描述

4、添加新服务

点击添加新服务按钮,打开数据源类型选择弹窗,准备创建数据库连接服务。 在这里插入图片描述

5、找到Hive选择,下一步

在数据源类型列表中,选中Hive数据源类型,确认后点击【下一步】进入基础信息填写页。 在这里插入图片描述

6、填写服务名以及描述,下一步

自定义填写当前Hive服务名,按需补充备注描述信息,核对信息无误后点击【下一步】。 在这里插入图片描述

7、输入数据库连接信息,测试连接

填写Hive 数据源账号、地址端口、认证模式、库名、SSL、元数据连接等参数,配置完成后测试连通性。 在这里插入图片描述

8、测试连接,下一步

若弹窗提示连接成功,代表数据库网络、账号密码、参数配置无误,直接点击【下一步】进入高级配置页面;

若连接失败,排查 IP 端口、账号权限、防火墙、驱动配置问题后重新测试。 在这里插入图片描述

9、默认配置,Save

若无指定库、表过滤需求,高级配置保持系统默认配置,确认全部配置信息后点击【Save】 按钮,完成Hive数据源服务创建提交。 在这里插入图片描述

10、服务创建完成

完成 Hive数据源服务创建,可查看服务归属域、所有者、分级信息,展示代理运行状态与平台治理指标覆盖情况。 在这里插入图片描述

11、拾取自动开始,等待拾取完成

选中刚创建的Hive数据源服务,点击【触发AutoPilot】按钮可立即启动元数据拾取;

如需长期自动同步,点击【添加代理】配置定时采集任务,等待拾取任务运行完成即可加载完整库表资产与数据血缘。 在这里插入图片描述

11.1 如果没有任务出现,点击刷新按钮 在这里插入图片描述

12、拾取完成

元数据代理 Metadata Agent执行状态为Success 即拾取完成,Hive的库、表、字段全量基础元数据已同步至平台。 在这里插入图片描述

13、查看数据血缘

元数据拾取完成后,即可基于当前Hive资产查看上下游数据流转关系,逐层查看库、表级血缘链路。 在这里插入图片描述

13.1 库 在这里插入图片描述

13.2 表 在这里插入图片描述

13.3 数据血缘 在这里插入图片描述