docker mysql+canal 环境部署

无糖朋克
1,260 阅读4分钟

docker mysql+canal 环境部署

起因

最近在搞数据库的增删改查，业务上需要新增一个服务的。服务需要同步一个数据库的操作。于是就搭了一下mysql+canal，但是由于本身是做算法的，在末端用的是python进行演示。 装mysql装崩了，然后生气了mysql和canal全部使用官方发布的docker进行部署。

感受

canal实际就是一个监控，对日志进行处理和分析，不知道有没大佬对canal做过性能测试，不过我觉得吧，正常小公司业务应该随便用。 等有时间，去看一下canal怎么对接mq。 （我一个算法工程师，咋一天都在学习这些东西呢！）

安装环境

本地系统是centos7

安装docker mysql

mysql选择的是5.7的版本

docker pull mysql:5.7 # 安装docker的镜像
# 创建挂载的目录
mkdir /root/mysql/conf
mkdir /root/mysql/data
mkdir /root/mysql/logs
# docker 启动mysql
docker run -p 3306:3306 --name mysql -v /root/mysql/conf:/etc/mysql/conf.d -v /root/mysql/logs:/logs -v /root/mysql/data:/var/lib/my

修改mysql的配置文件 正常来说应该是本地修改之后挂载到mysql镜像上，但是我修改之后mysql就重启不了了。 只能在镜像里面使用vim修改。 安装vim

# 进入mysql镜像
docker exec -it mysql /bin/bash
# 更新
apt-get update
# 安装vim
apt-get install vim
# vim 打开配置文件
vim /etc/mysql/mysql.conf.d/mysqld.cnf

canal配置只会需要修改这里就直接使用修改好的。

[mysqld]
# canal的配置
log-bin=mysql-bin
binlog-format=ROW
server_id= 1
# mysql文件配置
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
datadir		= /var/lib/mysql
#log-error	= /var/log/mysql/error.log
# By default we only accept connections from localhost
#bind-address	= 127.0.0.1
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# 默认字符集
default-character-set=utf8

exit # 退出mysql镜像
docker restart mysql # 重启mysql

使用navicat测试，确定服务正常 image.png

后续需要给canal创建一个账号，就接着操作了.

docker exec -it mysql /bin/bash
mysql -u root -p # 密码是root

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;
mysql> show grants for 'canal';
+---------------------------------------------------------------------------+
| Grants for canal@%                                                        |
+---------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' |
+---------------------------------------------------------------------------+
1 row in set (0.00 sec)

canal

canal使用的是1.1.5版本

# 下载镜像
docker pull canal/canal-server:v1.1.5
# 创建挂载的目录
mkdir /root/canal/conf
# 创建挂载的配置文件
touch /root/canal/conf/instance.properties

instance.properties配置

## mysql serverId
# 目前最新的服务端版本已不需要配置serverId参数
canal.instance.mysql.slaveId = 1234  
#position info，需要改成自己的数据库信息
canal.instance.master.address = 172.16.204.13:3306
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
# table regex
# binlog解析的过滤规则，采用正则表达式
canal.instance.filter.regex = .*\\..*

Note

  • canal.instance.master.address = 172.16.204.13:3306,这个地址一定是myql对应的地址。
  • 虽然两个镜像是在同一个宿主机上部署，但是不能通过127.0.0.1:3306进行访问。这里把服务映射到宿主机的ip上了，互相访问是需要通过宿主机。
  • 如果不是使用docker，而是直接下载canal和mysql在本地安装，可以设置为127.0.0.1:3306

启动宿主机

docker run --name=canal -p 11111:11111 -d -v /root/CC/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties canal/canal-server
# 进入宿主机
docker exec -it canal /bin/bash
# 查看日志
cat /home/admin/canal-server/logs/example/example.log

mysql ip配置不正确： image.png mysql ip配置正确： image.png

python操作

python 3.6 安装包

pip install canal-python

需要在mysql里面创建库和表，我直接使用navicat创建的 这里建了一个demo的库，canal_test的表 image.png

python演示代码

# canal_demo.py
import time

from canal.client import Client
from canal.protocol import EntryProtocol_pb2
from canal.protocol import CanalProtocol_pb2

# 建立与canal服务端的连接
client = Client()
client.connect(host='172.16.204.1', port=11111)   # canal服务端部署的主机IP与端口
client.check_valid(username=b'canal', password=b'canal')  # 自行填写配置的数据库账户密码
# destination是canal服务端的服务名称， filter即获取数据的过滤规则，采用正则表达式
client.subscribe(client_id=b'1001', destination=b'example', filter=b'.*\..*')

while True:
    message = client.get(100)
    # entries是每个循环周期内获取到数据集
    entries = message['entries']
    for entry in entries:
        entry_type = entry.entryType
        if entry_type in [EntryProtocol_pb2.EntryType.TRANSACTIONBEGIN, EntryProtocol_pb2.EntryType.TRANSACTIONEND]:
            continue
        row_change = EntryProtocol_pb2.RowChange()
        row_change.MergeFromString(entry.storeValue)
        event_type = row_change.eventType
        header = entry.header
        # 数据库名
        database = header.schemaName
        # 表名
        table = header.tableName
        event_type = header.eventType
        # row是binlog解析出来的行变化记录，一般有三种格式，对应增删改
        for row in row_change.rowDatas:
            format_data = dict()
            # 根据增删改的其中一种情况进行数据处理
            if event_type == EntryProtocol_pb2.EventType.DELETE:
                format_data['before'] = dict()
                for column in row.beforeColumns:
                    #format_data = {
                    #    column.name: column.value
                    #}
                    #此处注释为原demo，有误，下面是正确写法
                    format_data['before'][column.name] = column.value
            elif event_type == EntryProtocol_pb2.EventType.INSERT:
                format_data['after'] = dict()
                for column in row.afterColumns:
                    #format_data = {
                    #    column.name: column.value
                    #}
                    #此处注释为原demo，有误，下面是正确写法
                    format_data['after'][column.name] = column.value
            else:
                # format_data['before'] = format_data['after'] = dict()  采用下面的写法应该更好
                format_data['before'] = dict()
                format_data['after'] = dict()
                for column in row.beforeColumns:
                    format_data['before'][column.name] = column.value
                for column in row.afterColumns:
                    format_data['after'][column.name] = column.value
            # data即最后获取的数据，包含库名，表明，事务类型，改动数据
            data = dict(
                db=database,
                table=table,
                event_type=event_type,
                data=format_data,
            )
            print(data)
    time.sleep(1)

client.disconnect()

启动python文件 python canal_demo.py

connected to 172.16.204.13:11111
Auth succed
Subscribe succed

在canal_test表修改数据

image.png

{'db': 'demo', 'table': 'canal_test', 'event_type': 1, 'data': {'after': {'id': '3', 'name': '33'}}}
{'db': 'demo', 'table': 'canal_test', 'event_type': 2, 'data': {'before': {'id': '3', 'name': '33'}, 'after': {'id': '3', 'name': '44'}}}
{'db': 'demo', 'table': 'canal_test', 'event_type': 2, 'data': {'before': {'id': '2', 'name': '22'}, 'after': {'id': '2', 'name': '222'}}}
{'db': 'demo', 'table': 'canal_test', 'event_type': 2, 'data': {'before': {'id': '1', 'name': 'cc'}, 'after': {'id': '1', 'name': '111'}}}
{'db': 'demo', 'table': 'canal_test2', 'event_type': 1, 'data': {'after': {'id': '1', 'level': '1'}}}
{'db': 'demo', 'table': 'canal_test', 'event_type': 1, 'data': {'after': {'id': '4', 'name': '传参'}}}
{'db': 'demo', 'table': 'canal_test', 'event_type': 3, 'data': {'before': {'id': '4', 'name': '传参'}}}

Note

  • 由于canal是读取binlog，只对日志中增删改进行处理，所有对于创建表和删除表是不会有记录的
  • canal返回数据汇总event_type：1表示新增，2表示更新，3表示删除
avatar
文章
阅读
粉丝