小知识,大挑战!本文正在参与“程序员必备小知识”创作活动。
部署mysql
docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d -p 3306:3306 mysql:5.7
mysql启动好之后,需要更改一下配置,因为是容器启动的,需要进入mysql容器执行
#进入mysql容器
docker exec -it mysql bash
因为mysql容器默认没有安装vi vim等命令工具,这里直接用echo 追加文件内容方式
#开启binlog日志配置
echo "[mysqld]" >> /etc/mysql/my.cnf
echo "server_id=1" >> /etc/mysql/my.cnf
echo "log_bin = mysql-bin" >> /etc/mysql/my.cnf
echo "binlog_format = ROW" >> /etc/mysql/my.cnf
上述配置更改完成之后,退出mysql容器,然后重启
连接到mysql,执行查询binlog配置是否生效
#查询是否开启binlog
show variables like 'log_bin';
#查询binlog文件详情
show master logs;
配置maxwell相关需求
创建maxwell所需的账密及权限
CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
创建test库和一个测试用的表
SET FOREIGN_KEY_CHECKS=0;
create database test;
use test;
CREATE TABLE `maxwell` (
`id` int(11) DEFAULT NULL,
`daemon` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
部署kafka
安装的kafka版本是2.2.1,依赖zookeeper,所以先安装zookeeper
#安装zk
docker run -d --name zookeeper-server -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest
#安装kafka
docker run -d --name kafka-server -e ALLOW_PLAINTEXT_LISTENER=yes -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181 bitnami/kafka:2.2.1
kafka启动完成之后,需要创建一个maxwell的topic给maxwell使用,因为maxwell不会主动创建topic
#创建一个1复制,5分片的topic
kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 5 --topic maxwell
部署maxwell
docker run -it -d --name maxwell --rm zendesk/maxwell bin/maxwell \
--user=maxwell --password=XXXXXX --host=mysql_ip --port=3306 --producer=kafka \
--kafka.bootstrap.servers=kafka_ip:9092 --kafka_topic=maxwell
启动完成之后,查看maxwell容器输出日志,如下图所述就说明启动成功了
#查看maxwell容器日志
docker logs -f maxwell
生成数据
编写一个脚本,每隔一秒写一条数据到test.maxwell表里
#!/bin/bash
#生成数据脚本
HOSTNAME="ip"
PORT="3306"
USERNAME="root"
PASSWORD="123456"
DBNAME="test"
TABLENAME="maxwell"
#总共写1000条数据
for i in {1..1000}
do
insert_sql="insert into ${TABLENAME} values(${i},'Stanislaw Lem')"
mysql -h${HOSTNAME} -P${PORT} -u${USERNAME} -p${PASSWORD} ${DBNAME} -e"${insert_sql}"
sleep 1
done
验证采集结果
运行生成数据脚本之后,mysql的test.maxwell表里开始有数据持续写入了。。
现在验证一下kafka里面是否有数据
#查看消息,从头开始查看
kafka-console-consumer.sh --topic maxwell --bootstrap-server ip:9092 --from-beginning
可以看到maxwell成功的解析了binlog日志,并以json格式将消息发送到了kafka
消息解析后的动作 数据库: test 表: maxwell type: 插入 数据: id:100,daemon:"Stanislaw Lem"
至此,maxwell采集binlog日志并发送给kafka完成,下一篇将分享flink1.12消费kafka消息