1. 本地事务
1.1 事务定义
事务提供了一种机制,把一个活动中的所有操作纳入到一个不可分割的单元,事务中的所有操作只有在所有操作全部正常执行的情况下方才能提交,只要其中有任一操作执行失败,都将导致整个事务的回滚到事务开始前的状态。
1.2 事务属性
-
原子性
通过数据库Undo Log实现的。事务中在操作任何数据之前,首先将原数据备份到Undo Log然后进行数据的修改。如果事务中有任意操作发生异常或用户执行了 Rollback 语句,那么数据库就会使用Undo Log中的备份将数据恢复到事务开始之前的状态
-
隔离性
并发事务之间互相影响的程度。通过数据库提供的各种锁来实现的。行锁、表锁、间隙锁、MVCC机制
-
持久性
事务提交之后,数据的修改是永久的。即使发生系统崩溃,重新启动数据库系统后,数据库还能恢复到事务成功结束时的状态。通过Redo log实现的
-
一致性
指事务操作前后,数据库中的数据是一致的(符合业务逻辑的完整操作),数据满足业务规则约束(例如:账号金额的转出和转入)。也是通过Undo Log实现的
1.3事务隔离级别
读未提交:写的时候不可写,写排他锁。避免了更新丢失,但是会出现脏读、幻读、不可重复度
读已提交:写的时候不可读,等提交了之后在读;写排他锁加读共享锁。避免了脏读,但是会出现不可重复读和幻读
可重复读:读的时候不可写,但可读,写的时候不可读也不可写。避免了不可重复读,但是会出现幻读
序列化:所有事务依次顺序执行,没有并发;表锁。避免了所有情况,但影响了性能
2. 本地事务和全局事务对比
2.1 本地事务
是针对某个独立的事务资源(如JDBC)操作的事务。所谓“本地事务模型”,得名于事实上不是编程框架本身来管理事务,事务是交给本地资源管理器(数据库本身提供的)来管理的。经由本地事务模型,其实管理的是“连接(connection)”,而非“事务”。
2.2 全局事务
分布式事务是指会涉及到操作多个数据库的事务。其实就是将对同一库事务的概念扩大到了对多个库的事务。目的是为了保证分布式系统中的数据一致性。分布式事务处理的关键是必须有一种方法可以知道事务在任何地方所做的所有动作,提交或回滚事务的决定必须产生统一的结果(全部提交或全部回滚)
在分布式系统中,各个节点之间在物理上相互独立,通过网络进行沟通和协调。由于存在事务机制,可以保证每个独立节点上的数据操作可以满足ACID。但是,相互独立的节点之间无法准确的知道其他节点中的事务执行情况。所以从理论上讲,两台机器理论上无法达到一致的状态。如果想让分布式部署的多台机器中的数据保持一致性,那么就要保证在所有节点的数据写操作,要不全部都执行,要么全部的都不执行。但是,一台机器在执行本地事务的时候无法知道其他机器中的本地事务的执行结果。所以他也就不知道本次事务到底应该commit还是 roolback。所以,常规的解决办法就是引入一个“协调者”的组件来统一调度所有分布式节点的执行。
2.3 全局事务解决方案
- 2PC
- 3PC
- TCC
- Seata
- 阿里GTS
- RocketMq事务消息等手段
3. 分布式一致性协议 2PC, 3PC
3.1 2PC
二阶段提交是指,在计算机网络以及数据库领域内,为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种算法, 主要包括两个阶段, 第一阶段: 准备阶段 第二阶段: 提交阶段
3.1.1 准备阶段
事务协调者给每个参与者(资源管理器)发送Prepare消息,每个参与者要么直接返回失败,要么在本地执行事务,写本地的redo和undo日志,但不提交,到达一种“万事俱备,只欠东风”的状态。
详细流程:
1)协调者节点向所有参与者节点询问是否可以执行提交操作,并开始等待各参与者节点的响应。
2)参与者节点执行询问发起为止的所有事务操作,并将Undo信息和Redo信息写入日志。(注意:若成功这里其实每个参与者已经执行了事务操作)
3)各参与者节点响应协调者节点发起的询问。如果参与者节点的事务操作实际执行成功,则它返回一个”同意”消息;如果参与者节点的事务操作实际执行失败,则它返回一个”中止”消息。
3.1.2 提交阶段
如果协调者收到了参与者的失败消息或者超时,直接给每个参与者发送回滚(Rollback)消息;否则,发送提交(Commit)消息;参与者根据协调者的指令执行提交或者回滚操作,释放所有事务处理过程中使用的锁资源。
以上就是两阶段提交的基本过程了,那么按照这个两阶段提交协议,分布式系统的数据一致性问题就能得到满足吗?
实际上分布式事务是一件非常复杂的事情,两阶段提交只是通过增加了事务协调者的角色来通过2个阶段的处理流程来解决分布式系统中一个事务需要跨多个服务节点的数据一致性问题。但是从异常情况上考虑,这个流程也并不是那么的无懈可击。但是不幸的事,二阶段提交还是有几个缺点的:
1、同步阻塞问题。执行过程中,所有参与节点都是事务阻塞型的。当参与者占有公共资源时,其他第三方节点访问公共资源不得不处于阻塞状态。
2、协调者单点故障。由于协调者的重要性,一旦协调者发生故障。参与者会一直阻塞下去。尤其在第二阶段,协调者发生故障,那么所有的参与者还都处于锁定事务资源的状态中,而无法继续完成事务操作。
3、数据不一致。在二阶段提交的阶段二中,当协调者向参与者发送commit请求之后,发生了局部网络异常或者在发送commit请求过程中协调者发生了故障,这会导致只有一部分参与者接受到了commit请求。而在这部分参与者接到commit请求之后就会执行commit操作。但是其他部分未接到commit请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据部一致性的现象。
4、二阶段无法解决的问题:协调者在发出commit消息之后宕机,而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举产生了新的协调者,这条事务的状态也是不确定的,没人知道事务是否被已经提交。
3.2 3PC
3PC在两阶段提交的基础上增加了CanCommit阶段,并引入了超时机制。一旦事务参与者迟迟没有收到协调者的Commit请求,就会自动进行本地commit,这样相对有效地解决了协调者单点故障的问题导致的同步阻塞。
相比较2PC而言,3PC对于协调者(Coordinator)和参与者(Partcipant)都设置了超时时间,而2PC只有协调者才拥有超时机制。这解决了一个什么问题呢?这个优化点,主要是避免了参与者在长时间无法与协调者节点通讯(协调者挂掉了/参与者网络异常)的情况下,无法释放资源的问题,因为参与者自身拥有超时机制会在超时后,自动进行本地commit从而进行释放资源。而这种机制也侧面降低了整个事务的阻塞时间和范围, 但是不一致问题仍然没有根本解决.
因为3PC流程较长实现复杂, 且也未解决数据不一致问题, 所以3PC的使用场景也不是很多
4. Seata原理
4.1 愿景
像使用本地事务一样使用分布式事务,提供一站式的分布式事务解决方案


一个分布式(全局)事务由若干个本地(分支)事务组成

4.2 Seata架构
TC (Transaction Coordinator) - 事务协调者
维护全局和分支事务的状态,驱动全局事务提交或回滚。
TM (Transaction Manager) - 事务管理器
定义全局事务的范围:开始全局事务、提交或回滚全局事务。
RM (Resource Manager) - 资源管理器
管理分支事务处理的资源,与TC交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚。

TM向TC申请开启一个全局事务,全局事务创建成功并且生成一个全局唯一的XID;
XID在微服务调用链路的上下文中传播;
RM向TC注册分支事务,汇报事务资源准备状态,将其纳入XID对应全局事务的管辖;
RM执行业务逻辑;
TM结束分布式事务,事务一阶段结束,通知TC针对XID的全局提交或回滚决议;
TC汇总事务信息,决定分布式事务是提交还是回滚;
TC调度XID下管辖的RM的分支事务完成提交或者回滚请求,事务二阶段结束。
4.3 事务模式
在 AT 模式下,用户只需关心自己的 “业务SQL”。AT 模式的一阶段、二阶段提交和回滚均由 Seata 框架自动生成,用户只需编写“业务 SQL”,便能轻松接入分布式事务,AT 模式是一种对业务无任何侵入的分布式事务解决方案。适用于不希望对业务进行改造的场景,几乎0学习成本。
相对于 AT 模式,TCC 模式对业务代码有一定的侵入性,但是 TCC 模式无 AT 模式的全局行锁,TCC 性能会比 AT 模式高很多, 适用于核心系统等对性能有很高要求的场景。
Saga 模式是长事务解决方案,适用于业务流程长且需要保证事务最终一致性的业务系统,Saga 模式一阶段就会提交本地事务,无锁,长流程情况下可以保证性能,多用于渠道层、集成层业务系统。事务参与者可能是其它公司的服务或者是遗留系统的服务,无法进行改造和提供 TCC 要求的接口,也可以使用 Saga 模式。
XA模式将快照数据和行锁等通过 XA 指令委托给了数据库来完成, 是分布式强一致性的解决方案,但性能低而使用较少。

4.4 AT模式
4.4.1 前提
- 基于支持本地 ACID 事务的关系型数据库。
- AT模式支持的数据库有:MySQL、Oracle、PostgreSQL、 TiDB、MariaDB。
4.4.2 整体机制
两阶段提交协议的演变:
- 一阶段:业务数据和回滚日志记录在同一个本地事务中提交,释放本地锁和连接资源。
- 二阶段:
- 提交异步化,非常快速地完成。
- 回滚通过一阶段的回滚日志进行反向补偿。
一阶段: Seata 会拦截“业务 SQL”,首先解析 SQL 语义,找到“业务 SQL”要更新的业务数据,在业务数据被更新前,将其保存成“before image”,然后执行“业务 SQL”更新业务数据,在业务数据更新之后,再将其保存成“after image”,最后插入到undo_log表中, 以上操作全部在一个数据库事务内完成,这样保证了一阶段操作的原子性。

二阶段提交: 因为“业务 SQL”在一阶段已经提交至数据库, 所以 Seata 框架只需将一阶段保存的快照数据和行锁删掉,完成数据清理即可。

二阶段回滚: Seata 就需要回滚一阶段已经执行的“业务 SQL”,还原业务数据。回滚方式便是用“before image”还原业务数据;但在还原前要首先要校验脏写,对比“数据库当前业务数据”和 “after image”,如果两份数据完全一致就说明没有脏写,可以还原业务数据,如果不一致就说明有脏写,出现脏写就需要转人工处理。

4.4.3 写隔离
- 一阶段本地事务提交前,需要确保先拿到 全局锁 。
- 拿不到 全局锁 ,不能提交本地事务。
- 拿 全局锁 的尝试被限制在一定范围内,超出范围将放弃,并回滚本地事务,释放本地锁。
4.4.4 读隔离
在数据库本地事务隔离级别 读已提交(Read Committed) 或以上的基础上,Seata(AT 模式)的默认全局隔离级别是 读未提交(Read Uncommitted) 。
如果应用在特定场景下,必需要求全局的 读已提交 ,目前 Seata 的方式是通过 SELECT FOR UPDATE 语句的代理。
SELECT FOR UPDATE 语句的执行会申请 全局锁 ,如果 全局锁 被其他事务持有,则释放本地锁(回滚 SELECT FOR UPDATE 语句的本地执行)并重试。这个过程中,查询是被 block 住的,直到 全局锁 拿到,即读取的相关数据是 已提交 的,才返回。
出于总体性能上的考虑,Seata 目前的方案并没有对所有 SELECT 语句都进行代理,仅针对 FOR UPDATE 的 SELECT 语句。
4.4.5 镜像日志
"@class": "io.seata.rm.datasource.undo.BranchUndoLog",
"xid": ":8091:18247833523888444",
"branchId": 18247833523888462,
"sqlUndoLogs": ["java.util.ArrayList", [{
"@class": "io.seata.rm.datasource.undo.SQLUndoLog",
"sqlType": "UPDATE",
"tableName": "t_storage",
"beforeImage": {
"@class": "io.seata.rm.datasource.sql.struct.TableRecords",
"tableName": "t_storage",
"rows": ["java.util.ArrayList", [{
"@class": "io.seata.rm.datasource.sql.struct.Row",
"fields": ["java.util.ArrayList", [{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "id",
"keyType": "PRIMARY_KEY",
"type": 4,
"value": 1
}, {
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "count",
"keyType": "NULL",
"type": 4,
"value": 87
}]]
}]]
},
"afterImage": {
"@class": "io.seata.rm.datasource.sql.struct.TableRecords",
"tableName": "t_storage",
"rows": ["java.util.ArrayList", [{
"@class": "io.seata.rm.datasource.sql.struct.Row",
"fields": ["java.util.ArrayList", [{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "id",
"keyType": "PRIMARY_KEY",
"type": 4,
"value": 1
}, {
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "count",
"keyType": "NULL",
"type": 4,
"value": 86
}]]
}]]
}
}]]
}
4.5 Seata TCC 模式
回顾总览中的描述:一个分布式的全局事务,整体是 两阶段提交 的模型。全局事务是由若干分支事务组成的,分支事务要满足 两阶段提交 的模型要求,即需要每个分支事务都具备自己的:
- 一阶段 prepare 行为
- 二阶段 commit 或 rollback 行为
根据两阶段行为模式的不同,我们将分支事务划分为 Automatic (Branch) Transaction Mode 和 TCC (Branch) Transaction Mode.
AT 模式基于 支持本地 ACID 事务 的 关系型数据库:
- 一阶段 prepare 行为:在本地事务中,一并提交业务数据更新和相应回滚日志记录。
- 二阶段 commit 行为:马上成功结束,自动 异步批量清理回滚日志。
- 二阶段 rollback 行为:通过回滚日志,自动 生成补偿操作,完成数据回滚。
相应的,TCC 模式,不依赖于底层数据资源的事务支持:
- 一阶段 prepare 行为:调用 自定义 的 prepare 逻辑。
- 二阶段 commit 行为:调用 自定义 的 commit 逻辑。
- 二阶段 rollback 行为:调用 自定义 的 rollback 逻辑。
所谓 TCC 模式,是指支持把 自定义 的分支事务纳入到全局事务的管理中。
5. Seata FAQ
5.1 怎么使用Seata框架,来保证事务的隔离性?
因seata一阶段本地事务已提交,为防止其他事务脏读脏写需要加强隔离。
- 脏读 select语句加for update,代理方法增加@GlobalLock+@Transactional或@GlobalTransaction
- 脏写 必须使用@GlobalTransaction 注:如果你查询的业务的接口没有GlobalTransactional 包裹,也就是这个方法上压根没有分布式事务的需求,这时你可以在方法上标注@GlobalLock+@Transactional 注解,并且在查询语句上加 for update。 如果你查询的接口在事务链路上外层有GlobalTransactional注解,那么你查询的语句只要加for update就行。设计这个注解的原因是在没有这个注解之前,需要查询分布式事务读已提交的数据,但业务本身不需要分布式事务。 若使用GlobalTransactional注解就会增加一些没用的额外的rpc开销比如begin 返回xid,提交事务等。GlobalLock简化了rpc过程,使其做到更高的性能。
2022-02-21 17:28:53.189 ERROR 9552 --- [nio-9999-exec-6] i.s.r.d.exec.AbstractDMLBaseExecutor : execute executeAutoCommitTrue error:Global lock wait timeout
io.seata.rm.datasource.exec.LockWaitTimeoutException: Global lock wait timeout
5.2 脏数据回滚失败如何处理?
-
脏数据需手动处理,根据日志提示修正数据或者将对应undo删除
branchRollback failed. branchType:[AT], xid:[:8091:18247833523888757], branchId:[18247833523888764], resourceId:[jdbc:mysql://:3306/seata-storage], applicationData:[null]. reason:[Branch session rollback failed and try again later xid = :8091:18247833523888757 branchId = 18247833523888764 Has dirty records when undo.] 2022-02-21 19:51:16.261 INFO 13816 --- [_RMROLE_1_12_16] io.seata.rm.AbstractRMHandler : Branch Rollbacked result: PhaseTwo_RollbackFailed_Retryable 2022-02-21 19:51:17.212 INFO 13816 --- [_RMROLE_1_13_16] i.s.c.r.p.c.RmBranchRollbackProcessor : rm handle branch rollback process:xid=:8091:18247833523888757,branchId=18247833523888764,branchType=AT,resourceId=jdbc:mysql://:3306/seata-storage,applicationData=null 2022-02-21 19:51:17.212 INFO 13816 --- [_RMROLE_1_13_16] io.seata.rm.AbstractRMHandler : Branch Rollbacking: :8091:18247833523888757 18247833523888764 jdbc:mysql://:3306/seata-storage 2022-02-21 19:51:17.250 INFO 13816 --- [_RMROLE_1_13_16] i.s.r.d.undo.AbstractUndoExecutor : Field not equals, name count, old value 86, new value 85 -
关闭回滚时undo镜像校验,不推荐该方案。
注:建议事前做好隔离保证无脏数据
5.3 确保 GTS 事务管理范围内的所有数据不会被 GTS 管理范围外的系统修改
GTS 的全局数据库写锁仅针对加入了 GTS 事务的数据库操作,如果一个对数据库的写操作不在 GTS 事务管理的范围内,会造成“脏写”。例如,一个写操作在 GTS 事务中对一条数据进行了修改,但是尚未提交,使用 MySQL 控制台(不在 GTS 事务范围内)对该数据也进行了修改,而此时业务驱动前面的 GTS 事务回滚,这次回滚会失败,造成数据不一致。