34.工具使用:mysql+canal+rocketmq实现数据库同步-canal简单使用

520 阅读4分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第7天,点击查看活动详情

书接上回,

32.工具使用:mysql+canal+rocketmq实现数据库同步-mysql安装 - 掘金 (juejin.cn)

33.工具使用:mysql+canal+rocketmq实现数据库同步-canal安装 - 掘金 (juejin.cn)

测试

# mysql增加数据[anchu@localhost support-files]$ mysql -u root -P 3306 -h 192.168.120.110 -D test -pEnter password: 123456mysql> insert into test(id,name) values(1,"t1");Query OK, 1 row affected (0.04 sec)mysql> mysql> insert into test(id,name) values(2,"t2");Query OK, 1 row affected (0.02 sec)mysql> \qBye#查看canal本地同步数据
[anchu@localhost example]$ cat ../canal.properties |grep h2canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml[anchu@localhost example]$ ll -h ../../conf/example/total 120K-rw-rw-r--. 1 anchu anchu 116K Apr 26 23:21 h2.mv.db-rwxrwxr-x. 1 anchu anchu 2.2K Apr 26 23:19 instance.properties

需要注意canal.properties配置文件的几个相对路径配置,方便查看数据

# 使用本地文件创建的连接canal.conf.dir = ../conf  #/home/anchu/software/canal/confcanal.file.data.dir= ${canal.conf.dir}  #/home/anchu/software/canal/confcanal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}   # /home/anchu/software/canal/conf/examplecanal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;# 及上面的h2文件为什么会在 /home/anchu/software/canal/conf/example/h2.mv.db 目录,是从这里配置的

可以将文件copy到windows并用dbeaver打开是否有添加的数据。

可以下载客户端去查询 dbschema.com/download.ht…

也可以下载驱动jdbc查询如下:

图片

出现异常:General error: "The write format 1 is smaller than the supported format 2 [2.1.210/5]" 

原因canal的h2版本和测试代码的版本不一致,将canal的h2包copy到测试代码,再次测试

[anchu@localhost lib]$ pwd/home/anchu/software/canal/lib[anchu@localhost lib]$ ls |grep h2h2-1.4.196.jar

或者查看生成的h2.mv.db文件,查询test和insert关键字,可以看到数据更新信息同步到h2中

图片

发现找不到test表,明明h2文件看到了关键字,却查不到这是为什么呢?\

图片

那是因为,canal 使用 tsdb 保存保存表结构 meta的信息变化,本地使用默认使用的 h2db,可以配置为mysql

参考文档:blog.csdn.net/wfh45678/ar…

由于版本问题,修改canal lib包的h2版本为2.1.210,然后就可以通过h2查看别结构元数据信息

[anchu@localhost lib]$ mv h2-1.4.196.jar h2-1.4.196.jarold[anchu@localhost lib]$ mv h2-2.1.210.jarold h2-2.1.210.jar[anchu@localhost lib]$ ll |grep h2-rwxrwxr-x. 1 anchu anchu 1821816 Oct 13  2017 h2-1.4.196.jarold-rw-r--r--. 1 anchu anchu 2531600 Jan 17 01:12 h2-2.1.210.jar

图片

图片

由上图可以以看到,元数据信息变化表,会存储ddl语句相关日志文件及其偏移量。\

我们可以借助mysql提供的mysqlbinlog工具进行查看,操作如下:

mysqlbinlog --base64-output=decode-rows --start-position="219" ~/software/mysql-5.7.24/data/mysql-bin.000001/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;DELIMITER /*!*/;# at 219#220427  2:19:02 server id 1  end_log_pos 313 CRC32 0xacaaf5d4   Query  thread_id=7  exec_time=0  error_code=0SET TIMESTAMP=1651051142/*!*/;SET @@session.pseudo_thread_id=7/*!*/;SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;SET @@session.sql_mode=1075838976/*!*/;SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;/*!\C utf8 *//*!*/;SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;SET @@session.lc_time_names=0/*!*/;SET @@session.collation_database=DEFAULT/*!*/;create database test/*!*/;# at 313............

如图:可以看到219开始确实紧跟着create database test\

图片

扩展\

binlog日志类型

  • statement:记录执行的语句;对于更新而言不需要记录大量的行数据,但是有些信息无法记录比如随机数或者当前时间,所以还需要一些上下文信息。
  • row:只记录修改的行,不用上下文,但是数据量可能较大。
  • mixed:对于不需要上下文的语句,使用statement,否则使用row,所以会 同时存在两种格式;

如何查看binlog

  • 如果在mysql客户端内,可以使用show binlog events;这条命令会显示第一个binlog文件内的事件;当然可以指定binlog文件,比如:show binlog events in 'xxx-bin.0000N'。另外也可以使用show binary logs命令查看当前所有binlog文件名。

  • 如果不在mysql客户端,可以使用mysql提供的mysqlbinlog命令。比如:mysqlbinlog -v --base64-output=decode-rows --start-position="156" ~/mysql/master/data/mysql-bin.000004

  • 简单记一下几个参数的含义:

  • -v:将row模式的反解为statement模式,方便查阅;

  • --base64-output:如果不加,默认输出是base64格式的,加上这个参数,输出是base64解密后的;\

  • --start-position:指定开始位置,当然也可以指定结束位置;

  • 另外还有一些其他参数也可以指定,比如库名以及表名等。

binlog事件类型

  • 总共有3个版本:v1,v2和v4。mysql5以上使用过的v4。这里只记录这几个关键的事件类型:
  • QUERY_EVENT:在statement模式下,增删改的语句都会生成该事件;在row模式下,DDL的改动会生成该事件;
  • ROTATE_EVENT:新的binlog文件生成时,会记录该事件,内容就是下一个binlog文件的文件名;
  • FORMAT_DESCRIPTION_EVENT:每一个binlog文件的起始事件,描述文件属性;
  • TABLE_MAP_EVENT:在row模式下会有,每一个更新事件都会先有一个TABLE_MAP_EVENT事件,用于记录表的一些信息。
  • WRITE_ROWS_EVENT:在row模式下会有,insert;
  • UPDATE_ROWS_EVENT:在row模式下会有,update;
  • DELETE_ROWS_EVENT:在row模式下会有,delete

图片

参考文档:

开源实战 | Canal生产环境常见问题总结与分析

cloud.tencent.com/developer/a…

【MySQL(二十一)】binlog 事件

blog.csdn.net/u010900754/…

(6)canal client测试

测试消费,canal开源项目地址中有个测试用例,只需要修改ip然后启动

github.com/alibaba/can…

图片

启动失败,原因查看canal日志,是因为密码校验不能识别canal,所以需要修改canal.properties密码为二进制加密的。

图片

再次启动消费成功,可以从日志中看到增量的sql

图片

图片

分享一个canal +springboot整合的小项目,git地址:

github.com/zfsndtl/can…