持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第3天,点击查看活动详情
前言
说到redis,大家自然而然的会想到基于内存、单线程执行等。话说回来,Redis真的只有单线程吗?这篇文章来说说Redis的异步机制。
有哪些影响redis性能的因素
我们从Redis内部及外部因素总结一下,主要有:
- redis内部的阻塞式操作
- CPU核和NUMA架构的影响
- Redis关键系统配置
- Redis内存碎片
- Redis缓冲区
首先说说Redis实例的阻塞点:
- 客户端:网络IO,键值对的增删改查操作,数据库操作;
- 磁盘:生成RDB快照,记录AOF日志,AOF日志重写;
- 主从节点:主库生成、传输 RDB 文件,从库接收 RDB 文件、清空数据库、加载 RDB 文件;
- 切片集群实例:向其他实例传输哈希槽信息,数据迁移。
1.客户端的阻塞
因Redis使用了IO多路复用机制,能避免主线程一直处于等待状态,网络IO不是导致Redis阻塞的因素。
而键值对的增删改查是主线程的主要工作,复杂度高的操作当然会阻塞Redis了。我们去判断复杂度高不高的标准就是看操作的复杂度是否为O(N),也就是否要全表扫描。比如hgetall, smembers等操作就属于复杂度高的了。
然后还要注意的一个点就是数据的删除。删除本质上来说就是对键值对的内存空间进行释放。在释放内存时,操作系统需要将释放掉的内存块插入一个空闲内存块的链表,以便后续管理和再分配。这个过程会阻塞当前释放内存的应用程序。
如果这个键值对数据很大,比如一个zset包含大量元素,就会释放大量的内存。有测试过删除100万个元素的集合时,删除时间会达到2s,要知道Redis的响应是毫秒级别的。所以这种bigkey的删除也会成为Redis的阻塞点。
清空数据库(flushdb、flushall)也涉及到删除和释放所有的键值对,也是Redis的阻塞点。
2. 磁盘带来的阻塞
AOF重写和RDB快照,Redis都用了子进程的方式操作,所以不会阻塞主线程。但Redis直接记录AOF日志,若有大量的写操作,并且配置的是同步写回的话,就会阻塞主线程了。
3. 主从节点带来的阻塞
在主从集群中,主库生成RDB文件,并传输给从库。主从复制过程的创建和传输RDB都是子进程处理的,不会阻塞主线程。 但是从库在接收了RDB文件后,需要使用 FLUSHDB 命令清空当前数据库,这又是一个阻塞点。而且,在从库清空数据库后,需要将RDB文件加载到内存,快慢和rdb文件大小相关。加载RDB文件又是一个阻塞点。
4. 切片集群的阻塞
切片集群的实例在负载均衡或者实例增加删除时,数据迁移是渐进式操作的,所以不会阻塞主线程。
总结一下,Redis就有5个阻塞点:
- 集合全量查询和聚合操作;
- bigkey 删除;
- 清空数据库;
- AOF 日志同步写;
- 从库加载 RDB 文件。
异步机制解决阻塞
我们通过异步的方式,去解决可能阻塞的场景。但也不是每个操作都能用异步的方式去解决。如果一个操作能够异步执行,说明客户端不需要马上得到具体值,在Redis中描述为若一个操作能异步执行,就意味着它不是主线程的关键路径的操作。
对于第一个阻塞点,因为读操作需要等待数据的返回,所以第一个阻塞点不能异步执行。 第二个阻塞点和第三个阻塞点,因为删除不需要返回具体的结果,因此都可以用子线程去异步执行。 第四个阻塞点“AOF日志同步写”,也可启动子线程操作,不用让主线程等待AOF日志的写完成。 第五个阻塞点 “从库加载 RDB 文件”,从库要想对客户端提供数据存取服务,就必须把RDB文件加载完成,不能启用子进程。
异步是如何进行的
Redis 主线程启动后,会使用操作系统提供的 pthread_create 函数创建 3 个子线程,分别由它们负责 AOF 日志写操作、键值对删除以及文件关闭的异步执行。
异步删除lazy-free
lazy-free机制是Redis收到删除指令后,主线程会将这个操作放入队列,然后马上给客户端返回一个完成信息。实际上删除还没执行呢。 lazy-free是Redis4.0之后才有的功能,需要手动开启。需要注意的是,即使开启了lazy-free,如果直接使用DEL命令还是会同步删除key,只有使用UNLINK命令才会可能异步删除key。而且Redis在删除一个key时,首先会评估删除的时间成本,如果成本小,也不会异步执行,直接用主线程就完成返回了。
小结
本文总结Redis有哪些阻塞点,以及这些阻塞点是否可用异步机制去解决。但我们在使用Redis时,还是要避免bigkey的使用。