Canal是由阿里开发并开源的轻量级MySQL数据抓取软件,在大数据领域有着非常广泛的应用,是大数据工程师的必备技能包之一。
Canal可以实时读取MySQL二进制日志Binlog,并生成JSON格式的消息,作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序,还可以使用TCP模式自定义数据格式以及发送的下游。
本套教程以Canal的底层原理展开讲解,细致地介绍了Canal的安装部署及常见应用,详细讲解了如何实现MySQL数据的采集,并将数据分别发送至Kafka,同时使用TCP模式深层解析封装的数据,并实现自定义数据格式。
教程含全套视频、教辅文档、代码、软件,一站式搞定数据实时同步神器Canal!
Canal学习路线:
01.课程介绍
02.什么是Canal
03.MySQL Binlog介绍
04.Canal工作原理
05.Canal使用场景
06.MySQL环境准备
07.Canal下载与安装
08.TCP模式:创建项目&Canal封装数据格式分析
09.TCP模式:代码编写 创建连接&拉取数据
10.TCP模式:代码编写 解析结果数据并打印
11.TCP模式:代码测试
12.Kafka模式:配置文件修改
13.Kafka模式:案例测试