maxwell采集binlog发送kafka(docker方式安装)

1,296 阅读2分钟

小知识,大挑战!本文正在参与“程序员必备小知识”创作活动。

部署mysql

docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d -p 3306:3306 mysql:5.7

mysql启动好之后,需要更改一下配置,因为是容器启动的,需要进入mysql容器执行

#进入mysql容器
docker exec -it mysql bash

因为mysql容器默认没有安装vi vim等命令工具,这里直接用echo 追加文件内容方式

#开启binlog日志配置
echo "[mysqld]" >> /etc/mysql/my.cnf
echo "server_id=1"  >> /etc/mysql/my.cnf
echo "log_bin = mysql-bin"  >> /etc/mysql/my.cnf
echo "binlog_format = ROW"  >> /etc/mysql/my.cnf

上述配置更改完成之后,退出mysql容器,然后重启

连接到mysql,执行查询binlog配置是否生效

#查询是否开启binlog
show variables like 'log_bin';

#查询binlog文件详情
show master logs;

配置maxwell相关需求

创建maxwell所需的账密及权限

CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

创建test库和一个测试用的表

SET FOREIGN_KEY_CHECKS=0;
create database test;
use test;
CREATE TABLE `maxwell` (
  `id` int(11) DEFAULT NULL,
  `daemon` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

部署kafka

安装的kafka版本是2.2.1,依赖zookeeper,所以先安装zookeeper

#安装zk
docker run -d --name zookeeper-server -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

#安装kafka
docker run -d --name kafka-server -e ALLOW_PLAINTEXT_LISTENER=yes -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181 bitnami/kafka:2.2.1

kafka启动完成之后,需要创建一个maxwell的topic给maxwell使用,因为maxwell不会主动创建topic

#创建一个1复制,5分片的topic
kafka-topics.sh  --create --zookeeper ip:2181 --replication-factor 1 --partitions 5 --topic maxwell

部署maxwell

docker run -it -d --name maxwell --rm zendesk/maxwell bin/maxwell \
--user=maxwell --password=XXXXXX --host=mysql_ip --port=3306 --producer=kafka \
--kafka.bootstrap.servers=kafka_ip:9092 --kafka_topic=maxwell

启动完成之后,查看maxwell容器输出日志,如下图所述就说明启动成功了

#查看maxwell容器日志
docker logs -f maxwell

image.png

生成数据

编写一个脚本,每隔一秒写一条数据到test.maxwell表里

#!/bin/bash
#生成数据脚本

HOSTNAME="ip"
PORT="3306"
USERNAME="root"
PASSWORD="123456"

DBNAME="test"
TABLENAME="maxwell" 

#总共写1000条数据
for i in {1..1000}
do
   insert_sql="insert into ${TABLENAME} values(${i},'Stanislaw Lem')"
   mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p${PASSWORD} ${DBNAME} -e"${insert_sql}"
   sleep 1
done

验证采集结果

运行生成数据脚本之后,mysql的test.maxwell表里开始有数据持续写入了。。

现在验证一下kafka里面是否有数据

#查看消息,从头开始查看
kafka-console-consumer.sh --topic maxwell --bootstrap-server ip:9092 --from-beginning

可以看到maxwell成功的解析了binlog日志,并以json格式将消息发送到了kafka image.png

消息解析后的动作 数据库: test 表: maxwell type: 插入 数据: id:100,daemon:"Stanislaw Lem"

至此,maxwell采集binlog日志并发送给kafka完成,下一篇将分享flink1.12消费kafka消息