kafka

最近，Google Cloud 推出了新功能，可将数据从 Pub/Sub 直接流式传输到 BigQuery。有了这个新的 BigQuery 订阅功能，我可能会有另一种替代解决方案。

本文将介绍 Kafka Connect 框架的基本概念和架构。然后，我们将分四个步骤来帮助你顺利开发一个Kafka 连接器。

ksqlDB ksqldb是一个事件流数据库， 用于 简化kakfa 流处理 和 将kafka流处理和其他外部系统(比如关系数据库)集成。

Kafka Connect 是一个可扩展、可靠的在Kafka和其他系统之间流传输的数据工具。它可以通过connectors（连接器）简单、快速的将大集合数据导入和导出kafka。

通常将Debezium connectors 部署到 Kafka Connect 服务中,并配置一个或多个连接器来监控上游数据库 ，这些连接器会捕获上游数据库中所有更改后生成数据更改事件。

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 本文的上半部分: Debezium connector for MySQL 基本概念 5. 部署 要部署 Debezium MySQL 连接器，

Debezium MySQL 连接器读取 binlog，为行级`INSERT`,`UPDATE`和`DELETE`操作生成更改事件，并将更改事件发送到 Kafka 主题.