PiflowX

Spark流水线数据质量检查组件 1.组件说明 该组件提供了一个可视化、交互式的数据质量规则设计器，支持多种校验类型和参数配置，便于灵活定义和管理数据校验逻辑。 适用于需要灵活配置数据质量校验规则的场

Spark流水线数据探查组件 1.Deequ简介 Deequ是AWS实验室开发的一款开源数据质量监控工具，它构建在Apache Spark之上，主要用于大规模数据集的质量验证。Deequ允许用户定义"

Spark流水线在线演示 1. 登录系统 访问系统登录页面，输入账号密码完成身份验证。 2. 创建任务 • 入口：通过顶部菜单栏选择 任务开发，或通过快捷入口 快速创建任务。 • 任务类型：选择 Sp

## 1.代码获取 关注公众号`PiflowX`，发送“`源码`”获取github地址。 ##

Faker组件 组件说明 根据每列提供的Data Faker表达式生成模拟数据。 计算引擎 flink 有界性 count属性设置了便是有界的，否则为无界流。 组件分组 common 端口 Inpor

TopN组件 组件说明 按列排序的N个最小值或最大值。 有界性 batch streaming 计算引擎 flink 组件分组 common 端口 Inport：默认端口 outport：默认端口 组

PiflowX新增Apache Beam计算引擎。目前为止，PiflowX支持spark、flink和beam 3中计算引擎。

OrderBy组件 组件说明 ORDER BY组件使结果行根据指定的表达式进行排序。 计算引擎 flink 组件分组 common 端口 Inport：默认端口 outport：默认端口 组件属性 名

使用FileWrite组件，可以将数据写入到flink支持的文件系统，比如本地文件系统或者hdfs.

FileRead组件可以读取指定路径的文件的内容，可以是本地路径，hdfs路径或者其他flink支持的文件系统的路径。

这篇文章将演示如何基于PiflowX快速构建 MySQL和Postgres的流式ETL。本教程的演示都将在WEB画布中进行，只需拖拉拽，无需一行Java/Scala代码，也无需安装IDE。

Postgres CDC连接器允许从PostgreSQL数据库读取快照数据和增量数据。示例演示了基于PiflowX构建MySQL和Postgres的Streaming ETL。

OracleCdc组件 组件说明 Oracle CDC连接器允许从Oracle数据库读取快照数据和增量数据。 计算引擎 flink 组件分组 cdc 端口 Inport：默认端口 outport：默认

MysqlCdc组件 组件说明 MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。 计算引擎 flink 组件分组 cdc 端口 Inport：默认端口 outport：默认端口

为了流水线处理系统支持flink引擎，PiflowX应运而生，PiflowX基于Piflow二次开发（在此，向piflow作者和全体开发人员致敬！！！），对核心框架进行了重构，使算子组件接口抽象与计算

JDBCRead组件 组件说明 使用JDBC驱动向任意类型的关系型数据库读取数据。 计算引擎 flink 有界性 Scan Source: Bounded Lookup Source: Sync Mo

JDBCWrite组件 组件说明 使用JDBC驱动向任意类型的关系型数据库写入数据。 计算引擎 flink 有界性 Sink: Batch Sink: Streaming Append & Upser

WriteToUpsertKafka组件 组件说明 以upsert方式往Kafka topic中写数据。 计算引擎 flink 有界性 Streaming Upsert Mode 组件分组 kafka

ReadFromUpsertKafka组件 组件说明 upsert方式从Kafka topic中读取数据。 计算引擎 flink 有界性 Unbounded 组件分组 kafka 端口 Inport：