PiflowX

Spark流水线数据质量检查组件 1.组件说明 该组件提供了一个可视化、交互式的数据质量规则设计器，支持多种校验类型和参数配置，便于灵活定义和管理数据校验逻辑。 适用于需要灵活配置数据质量校验规则的场

Spark流水线数据探查组件 1.Deequ简介 Deequ是AWS实验室开发的一款开源数据质量监控工具，它构建在Apache Spark之上，主要用于大规模数据集的质量验证。Deequ允许用户定义"

Flink流水线+Gravitino+Paimon集成 1.数据源管理 1.1 添加Gravitino数据源 添加成功之后，会在Gravitino中创建一个名为配置的中的meatalake 1.2.

Spark流水线+Gravitino+Marquez数据血缘采集 1.Openlinage和Marquez简介 1.1 OpenLineage 概述 • OpenLineage 是一个开放标准和框架，

Spark流水线集成Gravitino 1.Gravitino简介 Apache Gravitino is a high-performance, geo-distributed, and feder

数据同步DataX任务在线演示，可访问http://1.94.182.15:8090/#/在线体验。

Spark流水线在线演示 1. 登录系统 访问系统登录页面，输入账号密码完成身份验证。 2. 创建任务 • 入口：通过顶部菜单栏选择 任务开发，或通过快捷入口 快速创建任务。 • 任务类型：选择 Sp

## 1.代码获取 关注公众号`PiflowX`，发送“`源码`”获取github地址。 ##

1.代码获取 关注公众号PiflowX，发送“源码”获取github地址。 2.后端本地开发 前提条件 Java1.8+ maven 项目编译 切换到dev-flow分支。 解压缩包 编译完成后，找到