seata整合nacos完成分布式的部署

1,162 阅读8分钟

一、背景

最近在学习Seata,此处简单记录一下Seata Server的分布式部署,其中的注册中心和配置中心使用nacos来完成,默认的file方式无法实现分布式部署。其中 nocos和mysql默认认为在机器上已经部署好了。

二、部署机器

机器ip部署资源机器类型
192.168.56.101seata server虚拟机
192.168.56.102seata server虚拟机
192.168.56.103seata server虚拟机
10.1.206.169nacos / mysql宿主机

三、部署步骤

1、在seata上创建命名空间

在nacos上创建seata的命名空间,需要记住的是 命名空间的id ,这个值在后期需要用到。

在seata上创建命名空间

2、下载对应版本的seata

下载seata

下载解压:

# 下载
wget https://github.com/seata/seata/releases/download/v1.4.2/seata-server-1.4.2.zip
# 解压
unzip seata-server-1.4.2.zip
# 查看 seata 目录结构
tree seata -L 2
seata
└── seata-server-1.4.2
    ├── LICENSE
    ├── bin
    ├── conf  (主要修改registry.conf配置文件)
    ├── lib
    └── logs

3、单机启动

此处演示的是在 192.168.56.101 这台机器上配置的seata server 。

1、修改seata配置文件

配置文件位置:$seata_server_home/conf/registry.conf

$seata_server_home 这是是seata server 的解压目录。

1、修改注册中心为nacos

vi conf/registry.conf

registry {
  # file 、nacos 、eureka、redis、zk、consul、etcd3、sofa
  type = "nacos"

  nacos {
  	# 注册到nacos上的服务名
    application = "seata-server"
    # nacos的地址
    serverAddr = "10.1.168.152:8847"
    # nacos上的分组
    group = "SEATA_GROUP"
    # 命名空间,为上一步创建的
    namespace = "774a5264-662f-4e27-a885-8d0783e5f26a"
    # 集群,这个是事物分组的时候需要用到
    cluster = "default"
    # nacos的用户名和密码
    username = "nacos"
    password = "nacos"
  }
}

nacos注册中心配置

2、修改配置中心为nacos

vi conf/registry.conf

config {
  # file、nacos 、apollo、zk、consul、etcd3
  type = "nacos"

  nacos {
    serverAddr = "10.1.168.152:8848"
    namespace = "774a5264-662f-4e27-a885-8d0783e5f26a"
    group = "SEATA_GROUP"
    username = "nacos"
    password = "nacos"
    # 此处的这个 dataId 的值,需要在nacos上创建,后期需要导入配置到这个命名空间中
    dataId = "seataServer.properties"
  }
}

配置中心

2、导入配置到nacos中

数据的存储模式使用 db,也可以使用redis,使用db需要创建4张表global_tablebranch_tablelock_tabledistributed_lock

1、存储模式设置为db,建表

建表语句为 github.com/seata/seata…

db数据库脚本的位置

-- -------------------------------- The script used when storeMode is 'db' --------------------------------
-- the table to store GlobalSession data
CREATE TABLE IF NOT EXISTS `global_table`
(
    `xid`                       VARCHAR(128) NOT NULL,
    `transaction_id`            BIGINT,
    `status`                    TINYINT      NOT NULL,
    `application_id`            VARCHAR(32),
    `transaction_service_group` VARCHAR(32),
    `transaction_name`          VARCHAR(128),
    `timeout`                   INT,
    `begin_time`                BIGINT,
    `application_data`          VARCHAR(2000),
    `gmt_create`                DATETIME,
    `gmt_modified`              DATETIME,
    PRIMARY KEY (`xid`),
    KEY `idx_gmt_modified_status` (`gmt_modified`, `status`),
    KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

-- the table to store BranchSession data
CREATE TABLE IF NOT EXISTS `branch_table`
(
    `branch_id`         BIGINT       NOT NULL,
    `xid`               VARCHAR(128) NOT NULL,
    `transaction_id`    BIGINT,
    `resource_group_id` VARCHAR(32),
    `resource_id`       VARCHAR(256),
    `branch_type`       VARCHAR(8),
    `status`            TINYINT,
    `client_id`         VARCHAR(64),
    `application_data`  VARCHAR(2000),
    `gmt_create`        DATETIME(6),
    `gmt_modified`      DATETIME(6),
    PRIMARY KEY (`branch_id`),
    KEY `idx_xid` (`xid`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

-- the table to store lock data
CREATE TABLE IF NOT EXISTS `lock_table`
(
    `row_key`        VARCHAR(128) NOT NULL,
    `xid`            VARCHAR(128),
    `transaction_id` BIGINT,
    `branch_id`      BIGINT       NOT NULL,
    `resource_id`    VARCHAR(256),
    `table_name`     VARCHAR(32),
    `pk`             VARCHAR(36),
    `gmt_create`     DATETIME,
    `gmt_modified`   DATETIME,
    PRIMARY KEY (`row_key`),
    KEY `idx_branch_id` (`branch_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

CREATE TABLE IF NOT EXISTS `distributed_lock`
(
    `lock_key`       CHAR(20) NOT NULL,
    `lock_value`     VARCHAR(20) NOT NULL,
    `expire`         BIGINT,
    primary key (`lock_key`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('AsyncCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryRollbacking', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('TxTimeoutCheck', ' ', 0);

2、简化的配置

完整的配置: github.com/seata/seata…

注意:

  • 此处指定的存储模式是db,因此需要配置数据库连接信息,指定的数据库需要存在 上一步 创建的表。
  • 此处配置了多个分组,也指定了多个集群

配置中心中需要的配置

# 这个地方的事物分组可以配置多个,多个配置多行 
service.vgroupMapping.my_test_tx_group=default
service.vgroupMapping.product-service=hangzhou
service.vgroupMapping.order-service=hangzhou
# 指定存储模式为db
store.mode=db
store.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.jdbc.Driver
store.db.url=jdbc:mysql://10.1.168.152:3306/seata?useUnicode=true&rewriteBatchedStatements=true
store.db.user=root
store.db.password=root

3、完整的配置

transport.type=TCP
transport.server=NIO
transport.heartbeat=true
transport.enableClientBatchSendRequest=true
transport.threadFactory.bossThreadPrefix=NettyBoss
transport.threadFactory.workerThreadPrefix=NettyServerNIOWorker
transport.threadFactory.serverExecutorThreadPrefix=NettyServerBizHandler
transport.threadFactory.shareBossWorker=false
transport.threadFactory.clientSelectorThreadPrefix=NettyClientSelector
transport.threadFactory.clientSelectorThreadSize=1
transport.threadFactory.clientWorkerThreadPrefix=NettyClientWorkerThread
transport.threadFactory.bossThreadSize=1
transport.threadFactory.workerThreadSize=default
transport.shutdown.wait=3
service.vgroupMapping.my_test_tx_group=default
service.default.grouplist=127.0.0.1:8091
service.enableDegrade=false
service.disableGlobalTransaction=false
client.rm.asyncCommitBufferLimit=10000
client.rm.lock.retryInterval=10
client.rm.lock.retryTimes=30
client.rm.lock.retryPolicyBranchRollbackOnConflict=true
client.rm.reportRetryCount=5
client.rm.tableMetaCheckEnable=false
client.rm.tableMetaCheckerInterval=60000
client.rm.sqlParserType=druid
client.rm.reportSuccessEnable=false
client.rm.sagaBranchRegisterEnable=false
client.rm.tccActionInterceptorOrder=-2147482648
client.tm.commitRetryCount=5
client.tm.rollbackRetryCount=5
client.tm.defaultGlobalTransactionTimeout=60000
client.tm.degradeCheck=false
client.tm.degradeCheckAllowTimes=10
client.tm.degradeCheckPeriod=2000
client.tm.interceptorOrder=-2147482648
store.mode=db
store.lock.mode=file
store.session.mode=file
store.publicKey=
store.file.dir=file_store/data
store.file.maxBranchSessionSize=16384
store.file.maxGlobalSessionSize=512
store.file.fileWriteBufferCacheSize=16384
store.file.flushDiskMode=async
store.file.sessionReloadReadSize=100
store.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.jdbc.Driver
store.db.url=jdbc:mysql://10.1.168.152:3306/seata?useUnicode=true&rewriteBatchedStatements=true
store.db.user=root
store.db.password=root
store.db.minConn=5
store.db.maxConn=30
store.db.globalTable=global_table
store.db.branchTable=branch_table
store.db.distributedLockTable=distributed_lock
store.db.queryLimit=100
store.db.lockTable=lock_table
store.db.maxWait=5000
store.redis.mode=single
store.redis.single.host=127.0.0.1
store.redis.single.port=6379
store.redis.sentinel.masterName=
store.redis.sentinel.sentinelHosts=
store.redis.maxConn=10
store.redis.minConn=1
store.redis.maxTotal=100
store.redis.database=0
store.redis.password=
store.redis.queryLimit=100
server.recovery.committingRetryPeriod=1000
server.recovery.asynCommittingRetryPeriod=1000
server.recovery.rollbackingRetryPeriod=1000
server.recovery.timeoutRetryPeriod=1000
server.maxCommitRetryTimeout=-1
server.maxRollbackRetryTimeout=-1
server.rollbackRetryTimeoutUnlockEnable=false
server.distributedLockExpireTime=10000
client.undo.dataValidation=true
client.undo.logSerialization=jackson
client.undo.onlyCareUpdateColumns=true
server.undo.logSaveDays=7
server.undo.logDeletePeriod=86400000
client.undo.logTable=undo_log
client.undo.compress.enable=true
client.undo.compress.type=zip
client.undo.compress.threshold=64k
log.exceptionRate=100
transport.serialization=seata
transport.compressor=none
metrics.enabled=false
metrics.registryType=compact
metrics.exporterList=prometheus
metrics.exporterPrometheusPort=9898

4、导入到nacos中

导入配置

3、启动seata server

./seata-server.sh -h 192.168.56.101 -p 8091 -n 1
 -h: 注册到注册中心的ip
 -p: Server rpc 监听端口
 -m: 全局事务会话信息存储模式,file、db、redis,优先读取启动参数 (Seata-Server 1.3及以上版本支持redis)
 -n: Server node,多个Server时,需区分各自节点,用于生成不同区间的transactionId,以免冲突
 -e: 多环境配置参考 http://seata.io/en-us/docs/ops/multi-configuration-isolation.html

4、查看seata server 列表

seata server 服务列表

4、seata server 集群启动

1、拷贝seata server配置到3台机器上

已知,我们上面的操作都是在 192.168.56.101 这台机器上操作的,那么我们将 192.168.56.101 这台机器上的seata配置拷贝到 192.168.56.102和192.168.56.103,然后启动即可。

# 1、将 192.168.56.101 的seata 配置拷贝到102和103上
scp -r /home/appuser/opt/seata/ appuser@192.168.56.102:/home/appuser/opt/
scp -r /home/appuser/opt/seata/ appuser@192.168.56.103:/home/appuser/opt/

经过上方2步操作,那么101、102和103三台机器的 seata 配置一摸一样。

依次启动3台机器的seata server

# 切换到 192.168.56.101 机器上操作
cd /home/appuser/opt/seata/seata-server-1.4.2/bin
./seata-server.sh -h 192.168.56.101 -p 8091 -n 1

# 切换到 192.168.56.102 机器上操作
cd /home/appuser/opt/seata/seata-server-1.4.2/bin
./seata-server.sh -h 192.168.56.102 -p 8091 -n 2

# 切换到 192.168.56.103 机器上操作
cd /home/appuser/opt/seata/seata-server-1.4.2/bin
./seata-server.sh -h 192.168.56.103 -p 8091 -n 3

2、查看seata server列表

seata server集群

5、在虚拟机上放行8091端口

# 防火墙放行 8091 端口
firewall-cmd --zone=public --add-port=8091/tcp --permanent
# 重新加载防火墙配置
firewall-cmd --reload

四、属性配置

1、核心关注的属性

服务端配置端解释客户端配置解释
registry.type注册中心类型registry.type注册中心类型
config.type配置中心类型config.type配置中心类型
#store.mode=db需要以下配置service.vgroupMapping.my_test_tx_group事物分组,对应的值是 集群
store.db.driverClassName驱动类service.default.grouplistTC服务列表 仅注册中心为file时使用
store.db.url数据库连接urlservice.disableGlobalTransaction是否开启全局事务
store.db.user数据库用户名client.rm.lock.retryInterval校验或占用全局锁重试间隔 默认10,单位毫秒
store.db.password数据库密码client.rm.lock.retryTimes校验或占用全局锁重试次数 默认30
#store.mode=redis 需要以下配置
store.redis.hostredis地址
store.redis.portredis端口
store.redis.databaseredis数据库,默认是0
store.redis.passwordredis密码,没有不填写

2、服务端配置

1、undo日志保存天数

# undo保留天数,默认是7天
server.undo.logSaveDays=7

2、事务会话信息存储方式

# 事务会话信息存储方式,file本地文件(不支持HA),db数据库|redis(支持HA)
store.mode
	=file
		需要配置的属性
			store.file.dir(file模式文件存储文件夹名,默认sessionStore)
  =db
  	需要配置的属性
  		store.db.datasource(db模式数据源类型	dbcp、druid、hikari;无默认值,必须指定。)
  		store.db.dbType(db模式数据库类型	mysql、oracle、db2、sqlserver、sybaee、h2、sqlite、access、postgresql、oceanbase;无默认值,必须指定。)
  		store.db.driverClassName(db模式数据库驱动,必须指定)
  		store.db.url(db模式数据库url,必须指定,在使用mysql作为数据源时,建议在连接参数中加上rewriteBatchedStatements=true)
  		store.db.user(db模式数据库账户,必须指定)
  		store.db.password(db模式数据库账户密码,必须指定)	
  		store.db.minConn	db模式数据库初始连接数	默认1
      store.db.maxConn	db模式数据库最大连接数	默认20
      store.db.maxWait	db模式获取连接时最大等待时间	默认5000,单位毫秒
      store.db.globalTable	db模式全局事务表名	默认global_table
      store.db.branchTable	db模式分支事务表名	默认branch_table
      store.db.lockTable	db模式全局锁表名	默认lock_table
      store.db.queryLimit	db模式查询全局事务一次的最大条数	默认100
  =redis
  	需要配置的属性
  		store.redis.host	redis模式ip	默认127.0.0.1
      store.redis.port	redis模式端口	默认6379
      store.redis.maxConn	redis模式最大连接数	默认10
      store.redis.minConn	redis模式最小连接数	默认1
      store.redis.database	redis模式默认库	默认0
      store.redis.password	redis模式密码(无可不填)	默认null
      store.redis.queryLimit	redis模式一次查询最大条数	默认100
			

3、度量配置

metrics.enabled	是否启用Metrics	默认false关闭,在False状态下,所有与Metrics相关的组件将不会被初始化,使得性能损耗最低
metrics.registryType	指标注册器类型	Metrics使用的指标注册器类型,默认为内置的compact(简易)实现,这个实现中的Meter仅使用有限内存计数,性能高足够满足大多数场景;目前只能设置一个指标注册器实现
metrics.exporterList	指标结果Measurement数据输出器列表	默认prometheus,多个输出器使用英文逗号分割,例如"prometheus,jmx",目前仅实现了对接prometheus的输出器
metrics.exporterPrometheusPort	prometheus输出器Client端口号	默认9898

3、客户端配置

1、数据源代理

seata.enabled	是否开启spring-boot自动装配	true、false,(SSBS)专有配置,默认true
seata.enableAutoDataSourceProxy=true	是否开启数据源自动代理	true、false,seata-spring-boot-starter(SSBS)专有配置,SSBS默认会开启数据源自动代理,可通过该配置项关闭.
seata.useJdkProxy=false	是否使用JDK代理作为数据源自动代理的实现方式	true、false,(SSBS)专有配置,默认false,采用CGLIB作为数据源自动代理的实现方式

2、事物分组的配置

service.vgroupMapping.my_test_tx_group	事务群组	my_test_tx_group为分组,配置项值为TC集群名
service.default.grouplist	TC服务列表	仅注册中心为file时使用

3、分布式事务降级开关

client.tm.degradeCheck	降级开关	默认false。业务侧根据连续错误数自动降级不走seata事务

4、校验或占用全局锁重试

client.rm.lock.retryInterval	校验或占用全局锁重试间隔	默认10,单位毫秒
client.rm.lock.retryTimes	校验或占用全局锁重试次数	默认30

5、一阶段全局结果上报次数

client.tm.commitRetryCount	一阶段全局提交结果上报TC重试次数	默认1次,建议大于1
client.tm.rollbackRetryCount	一阶段全局回滚结果上报TC重试次数	默认1次,建议大于1

五、参考文档

1、seata server 下载

2、Seata新手部署指南(1.4.0版本)

3、Seata 高可用部署

4、seata配置属性