Canal

简介

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

• 数据库镜像
• 数据库实时备份
• 索引构建和实时维护(拆分异构索引、倒排索引等)
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

安装

**下载地址：**github.com/alibaba/can…

将下载好的tar包传到服务器上的文件夹

解压到指定目录tar -zxvf canal.deployer-1.1.5.tar.gz -C /opt/canal

修改配置文件vim /conf/example/

canal.instance.mysql.slaveId=0 不能与mysql相同
canal.instance.master.address=ip:3306
#mysql新建一个没有新增修改删除权限的用户，为了省事这里用root用户
canal.instance.dbUsername=root 
canal.instance.dbPassword=123456

开启mysql binlog模式

vim /etc/mysql/my.cnf

max_allowed_packet=1024M
server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=test

TCP模式

Canal数据结构

• Message: 一次canal从日志中抓取的信息，一个message可以包含多个sql的结果
• Enrty: 对应一个sql命令，一个sql可能会对多行记录造成影响

SpringBoot集成canal客户端

1.引入依赖

<!-- canal -->
<dependency>
   <groupId>com.alibaba.otter</groupId>
   <artifactId>canal.client</artifactId>
   <version>1.1.2</version>
</dependency>

2.创建canal连接器

//Canal连接器
CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("39.105.218.105",11111), "example", "", "");

3.拉取数据

while (true){
			// TODO 连接
			canalConnector.connect();

			// TODO 订阅数据库
			canalConnector.subscribe("test.*");

			// TODO 获取数据
			Message message = canalConnector.get(100);

			// TODO 获取Entry集合
			List<CanalEntry.Entry> entries = message.getEntries();

			// TODO 判断集合是否为空，如果为空等待一会
			if (entries.size() <= 0){
				System.out.println("没有数据等待一会");
				Thread.sleep(1000);
			}else {
				// TODO 遍历entries，单条解析
				for (CanalEntry.Entry entry: entries) {
					//1.获取表名
					String tableName = entry.getHeader().getTableName();

					//2.获取类型
					CanalEntry.EntryType entryType = entry.getEntryType();

					//3.获取序列化后的数据
					ByteString storeValue = entry.getStoreValue();

					//4.判断当前entrytype是否为rowdata
					if(CanalEntry.EntryType.ROWDATA.equals(entryType)){
						//5.反序列化数据
						CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);

						//6.获取当前事件的操作类型
						CanalEntry.EventType eventType = rowChange.getEventType();

						//7.获取数据集
						List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();

						//8.遍历打印数据集
						for (CanalEntry.RowData rowData: rowDatasList) {
							//更新前数据
							JSONObject beforeData = new JSONObject();
							List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
							for (CanalEntry.Column column: beforeColumnsList) {
								beforeData.put(column.getName(),column.getValue());
							}
							//更新后数据
							JSONObject afterData = new JSONObject();
							List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
							for (CanalEntry.Column column: afterColumnsList) {
								afterData.put(column.getName(),column.getValue());
							}
							System.out.println("Table" + tableName +
									",EventType" + eventType +
									",BeforeData" + beforeData +
									",AfterData" + afterData);
						}
					}else {
						System.out.println(entryType);
					}
				}
			}
		}