Mysql 锁简单学习

99 阅读9分钟

概述

锁是什么?

锁是计算机用来协调多个进程或线程并发访问某一资源的机制。

在数据库中,除传统的计算资源(CPU、RAM、I/O)的争用以外,数据也是一种供许多用户共享的资源。如 何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问 性能的一个重要因素。

锁的分类

锁分类

按照锁的粒度说 首先全局锁

全局锁

介绍

全局锁就是对整个数据库实例加锁,加锁后整个实例就处于只读状态,后续的DML的写语句,DDL语句,已经更新操作的事务提交语句都将被阻塞。

其典型的使用场景是做全库的逻辑备份,对所有的表进行锁定,从而获取一致性视图,保证数据的完整性。

为什么全库逻辑备份,就需要加全局锁呢? 我们来看看不加锁会怎样。以银行转账为例。

时刻Session A (转账)Session B(备份)
T1begin;备份A表成功
T2set money = money + 100 where user = A;备份B表成功
T3备份账户表成功
T4set money = money - 100 where user = B;备份C表成功
T5commit备份D表成功

当用户B转100给用户A

如果在用户A账户增加了100

但还没给用户B账户扣除100时,对账户表完成了备份,那此时备份数据与生产环境的数据出现不一致性。

那如何来规避这种问题呢? 此时就可以借助于MySQL的全局锁来解决。

对数据库进行进行逻辑备份之前,先对整个数据库加上全局锁,一旦加了全局锁之后,其他的DDL、DML全部都处于阻塞状态,但是可以执行DQL语句,也就是处于只读状态,而数据备份就是查询操作。那么数据在进行逻辑备份的过程中,数据库中的数据就是不会发生变化的,这样就保证了数据的一致性和完整性。

语法

# 加全局锁
flush tables with read lock;

# 释放锁
unlock tables;

特点

数据库中加全局锁,是一个比较重的操作,存在以下问题:

  • 如果在主库上备份。那么在备份期间都不能执行更新。
  • 如果在从库上备份。那么在备份期间,从库不能执行主库同步过来的 bin-log,从而造成主从延时。

在 InnoDB 引擎中,我们可以在备份时加上参数 --single-transaction 参数来完成不加锁的一致性数据备份。

mysqldump --single-transaction -uroot –p123456 test > test.sql

为什么加上这个参数就可以不加锁完成导入?

表级锁

介绍

表级锁,每次操作锁住整张表。锁定粒度大,发生锁冲突的概率最高,并发度最低。应用在MyISAM、InnoDB等存储引擎中。

对于表级锁,主要分为以下三类:

  • 表锁

  • 元数据锁(meta data lock)

  • 意向锁

表级锁的分类

表锁

对于表锁,分为两类:

  • 表共享读锁(read lock)
  • 表独占写锁(write lock)

语法:

  • 加锁:lock tables 表名... read/write。
  • 释放锁:unlock tables / 客户端断开连接 。

之后都要用作演示的表结构

CREATE TABLE `test` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) NOT NULL,
  `age` int(10) NOT NULL,
  `height` int(10) NOT NULL,
  `job` varchar(100) NOT NULL,
  `insert_dt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
A.读锁

如果客户端一对指定表加了读锁,不会影响所有客户端的,但是会阻塞所有客户端的写

表的读锁

表的读锁2

B.写锁*

如果客户端一对指定表加了写锁,就会阻塞其他客户端的读和写,本客户端只允许写

表的写锁

表的写锁

表的写锁

元数据锁*

meta data lock , 元数据锁,简写MDL。

MDL 加锁过程是系统自动控制,无需显式使用,在访问一张表的时候会自动加上。MDL锁主要作用是维护表元数据的数据一致性,在表上有活动事务的时候,不可以对元数据进行写入操作。为了避免DML与DDL冲突,保证读写的正确性

这里的元数据,大家可以简单理解为就是一张表的表结构。 也就是说,某一张表涉及到未提交的事务时,是不能够修改这张表的表结构的。

在MySQL5.5中引入了MDL,当对一张表进行增删改查的时候,加MDL读锁(共享);当对表结构进行变更操作的时候,加MDL写锁(排他)。

常见的SQL操作时,所添加的元数据锁:

对应SQL锁类型说明
lock tables xxx read/write共享锁 / 排他锁
select 、select ... lock in share mode意向共享锁与 SHARED_READ、SHARED_WRITE兼容,与EXCLUSIVE互斥
insert 、update、delete、select ... for update意向排他锁与 SHARED_READ、SHARED_WRITE兼容,与EXCLUSIVE互斥
alter table ...排他锁与其他的 MDL 都互斥
  • 当执行SELECT、INSERT、UPDATE、DELETE等语句时,添加的是元数据共享锁(SHARED_READ / SHARED_WRITE),之间是兼容的。 元数据锁

元数据锁2

  • 当执行SELECT语句时,添加的是元数据共享锁(SHARED_READ),会阻塞元数据排他锁(EXCLUSIVE),之间是互斥的。 元数据锁3
意向锁

为了避免DML在执行时,加的行锁与表锁的冲突,在InnoDB中引入了意向锁,使得表锁不用检查每行数据是否加锁,使用意向锁来减少表锁的检查。

假如没有意向锁,客户端一对表加了行锁后,客户端二如何给表加表锁呢 ?

  1. 首先客户端一,开启一个事务,然后执行DML操作,在执行DML语句时,会对涉及到的行加行锁。
  1. 当客户端二,想对这张表加表锁时,会检查当前表是否有对应的行锁,如果没有,则添加表锁,此时就会从第一行数据,检查到最后一行数据,效率较低。

有了意向锁之后

  1. 客户端一,在执行 DML 操作时,会对涉及的行加行锁,同时也会对该表加上意向锁。
  1. 而其他客户端,在对这张表加表锁的时候,会根据该表上所加的意向锁来判定是否可以成功加表锁,而不用逐行判断行锁情况了。
A. 分类
  • 意向共享锁: 由语句select ... lock in share mode添加 。与表锁共享锁(read)兼容,与表锁排他锁(write)互斥
  • 意向排他锁: 由insert、update、delete、select...for update添加 。与表锁共享锁(read)及排他锁(write)都互斥,意向锁之间不会互斥。

一旦事务提交了,意向共享锁、意向排他锁,都会自动释放。

知道那些情况会有表锁吗?

行锁退化、特殊语句

实际上工作碰到的问题(特殊语句导致锁表),已经定位了问题是两个接口的SQL问题 info 跟 changeNewFriend 通过日志获取接口调用次数

info 接口调用次数 0213

changeNewFriend 接口调用次数 0213_2

根据活动日志的规律得到,通过日志切割的时间得到某个时间段的间隔时间约为(这里按照时间最短的来)

1676263754 - 1676257891 = 5863 s

请求次数约为 23000 次,(请求次数按照 差不多中位数来)

QPS 为: 22000 / 5863 约为每秒钟 4 次

但是当天的 Mysql 监控如下图

mysql_watch

简单存储代码

CREATE PROCEDURE `pr_214_matching_query`()
proc_start:BEGIN

DROP TEMPORARY  TABLE IF EXISTS t_tmp;
 CREATE TEMPORARY TABLE t_tmp (
    user_id int(10) unsigned  DEFAULT '0',
		key idx_u(user_id)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

INSERT INTO t_tmp(user_id)
SELECT DISTINCT user_id
FROM t_214_user_matching_pool 
WHERE region = p_region
AND   gender = @gender
AND   grade_value >= @grade_value_begin 
AND   grade_value <= @grade_value_end 
AND   wealth_value >= @wealth_value_begin 
AND   wealth_value <= @wealth_value_end
ORDER BY matching_cnt,insert_dt DESC 
limit 4;

SELECT * FROM t_tmp;

END proc_start

行级锁

介绍

行级锁,每次操作锁住对应的行数据。锁定粒度最小,发生锁冲突的概率最低,并发度最高。应用在InnoDB存储引擎中。

分类

InnoDB的数据是基于索引组织的,行锁是通过对索引上的索引项加锁来实现的,而不是对记录加的锁。对于行级锁,主要分为以下三类:

  • 行锁(Record Lock):锁定单个行记录的锁,防止其他事务对此行进行update和delete。在RC、RR隔离级别下都支持。
  • 间隙锁(Gap Lock) :锁定索引记录间隙(不含该记录),确保索引记录间隙不变,防止其他事务在这个间隙进行insert,产生幻读。在RR隔离级别下都支持。
  • 临键锁(Next-Key Lock):行锁和间隙锁组合,同时锁住数据,并锁住数据前面的间隙Gap。在RR隔离级别下支持。

行锁

介绍

InnoDB 实现了以下两种类型的行锁:

  • 共享锁(S):允许一个事务去读一行,阻止其他事务获得相同数据集的排它锁。
  • 排他锁(X):允许获取排他锁的事务更新数据,阻止其他事务获得相同数据集的共享锁和排他 锁。

两种行锁的兼容情况如下:

兼容情况

常见的SQL语句,在执行时,所加的行锁如下:

SQL行锁类型说明
INSERT ...排他锁自动加锁
UPDATE ...排他锁自动加锁
DELETE ...排他锁自动加锁
SELECT(正常)没锁
SELECT ... LOCK IN SHARE MODE共享锁需要手动在SELECT之后加LOCK IN SHARE MODE
SELECT ... FOR UPDATE排他锁需要手动在SELECT之后加FOR UPDATE
演示

默认情况下,InnoDB在 REPEATABLE READ事务隔离级别运行,InnoDB使用 next-key 锁进行搜索和索引扫描,以防止幻读。

  • 针对唯一索引进行检索时,对已存在的记录进行等值匹配时,将会自动优化为行锁。
  • InnoDB的行锁是针对于索引加的锁,不通过索引条件检索数据,那么InnoDB将对表中的所有记录加锁,此时 就会退化为表锁。

可以通过以下SQL,查看当前运行中的事务信息,也可查看锁信息

select * from information_schema.innodb_trx;

innodb_trx 表字段详情

| trx_id | varchar(18) | NO | | | |#事务ID
| trx_state | varchar(13) | NO | | | |#事务状态:
| trx_started | datetime | NO | | 0000-00-00 00:00:00 ||#事务开始时间;
| trx_requested_lock_id | varchar(81) | YES | | NULL ||#innodb_locks.lock_id
| trx_wait_started | datetime | YES | | NULL | |#事务开始等待的时间
| trx_weight | bigint(21) unsigned | NO | | 0 | |#
| trx_mysql_thread_id | bigint(21) unsigned | NO | | 0 ||#事务线程ID
| trx_query | varchar(1024) | YES | | NULL | |#具体SQL语句
| trx_operation_state | varchar(64) | YES | | NULL ||#事务当前操作状态
| trx_tables_in_use | bigint(21) unsigned | NO | | 0 ||#事务中有多少个表被使用
| trx_tables_locked | bigint(21) unsigned | NO | | 0 ||#事务拥有多少个锁
| trx_lock_structs | bigint(21) unsigned | NO | | 0 | |#
| trx_lock_memory_bytes | bigint(21) unsigned | NO | | 0 ||#事务锁住的内存大小(B)
| trx_rows_locked | bigint(21) unsigned | NO | | 0 ||#事务锁住的行数
| trx_rows_modified | bigint(21) unsigned | NO | | 0 ||#事务更改的行数
| trx_concurrency_tickets | bigint(21) unsigned | NO | | 0 ||#事务并发票数
| trx_isolation_level | varchar(16) | NO | | | |#事务隔离级别
| trx_unique_checks | int(1) | NO | | 0 | |#是否唯一性检查
| trx_foreign_key_checks | int(1) | NO | | 0 | |#是否外键检查
| trx_last_foreign_key_error | varchar(256) | YES | | NULL ||#最后的外键错误
| trx_adaptive_hash_latched | int(1) | NO | | 0 | |#
| trx_adaptive_hash_timeout | bigint(21) unsigned | NO | | 0 ||#

演示行锁的时候 ,我们依然使用上面建立的 test 表

A. 普通的select语句

普通 select 执行时,不会加锁

普通Select

可以 查看 trx_rows_locked 字段值的数量

B. select...lock in share mode

加共享锁,共享锁与共享锁之间兼容

共享锁

如何证明共享锁直接兼容呢?

我们就只要再开一个窗口, 并且再运行一个lock in share mode锁的语句即可

共享锁兼容

共享锁与排他锁之间互斥 共享锁与排他锁互斥

  1. 客户端一获取的是id为2这行的共享锁

  2. 客户端二是可以获取id为6这行的排它锁的,因为不是同一行数据。

  3. 而如果客户端二想获取id为2这行的排他锁,会处于阻塞状态,以为共享锁与排他锁之间互斥。

C. 排他锁与排他锁之间互斥

排他锁之间互斥

  1. 当客户端一,执行update语句,会为id为2的记录加排他锁;

  2. 客户端二,如果也执行update语句更新id为2的数据,也要为id为2的数据加排他锁,但是客户端二会处于阻塞状态,因为排他锁之间是互斥的。

  3. 直到客户端一,把事务提交了,才会把这一行的行锁释放,此时客户端二,解除阻塞。

D.无索引行锁退化为表锁

首先 test 表中数据如下:

mysql> SELECT id,name,age,height FROM test;                             
+----+------+-----+--------+                                             
| id | name | age | height |                                             
+----+------+-----+--------+                                             
|  2 | ws_2 |  12 |    100 |                                             
|  6 | ws_6 |  13 |    101 |                                             
|  7 | ws_7 |  14 |    102 |                                             
+----+------+-----+--------+                                             
3 rows in set (0.00 sec) 

在两个客户端中执行如下操作

行锁退化为表锁

在客户端一中,开启事务,并执行update语句,更新name为ws_2的数据,也就是id为2的记录 。然后在客户端二中更新id为6的记录,却不能直接执行,会处于阻塞状态,为什么呢?

原因就是因为此时,客户端一,根据name字段进行更新时,name字段是没有索引的,如果没有索引,此时行锁会退化为表锁

接下来,我们再针对name字段建立索引,索引建立之后,再次做一个测试:

退化为表锁

  1. 此时我们可以看到,客户端一,开启事务,然后依然是根据name进行更新。

  2. 而客户端二,在更新id为3的数据时,更新成功,并未进入阻塞状态。 这样就说明,我们根据索引字段进行更新操作,就可以避免行锁退化为表锁的情况。

间隙锁&临键锁

默认情况下,InnoDB 在 REPEATABLE READ 事务隔离级别运行,InnoDB 使用 next-key 锁进行搜索和索引扫描,以防止幻读( 一个事务读取2次,得到的记录条数不一致 )。

  • 索引上的等值查询(唯一索引),给不存在的记录加锁时, 优化为间隙锁 。
  • 索引上的等值查询(非唯一普通索引),向右遍历时最后一个值不满足查询需求时,next-key lock 退化为间隙锁。
  • 索引上的范围查询(唯一索引)--会访问到不满足条件的第一个值为止。

注意:

间隙锁唯一目的是防止其他事务插入间隙。间隙锁可以共存,一个事务采用的间隙锁不会阻止另一个事务在同一间隙上采用间隙锁。