十八，Redis内存回收

normaling
166 阅读7分钟

一，Redis内存回收

Redis之所以性能强，最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大，会影响持久化或主从同步性能。

我们可以通过修改配置文件来设置Redis的最大内存:

# 格式
# maxmemory <bytes>
# 例如
maxmemory 1gb

当内存使用达到上限时，就无法存储更多数据了。

二，过期Key处理

在学习Redis缓存的时候我们说过，可以通过expire命令给Redis的key设置TTL(存活时间)：

image-20240906200523609

可以发现，当key的TTL到期以后，再次访问name返回的是nil，说明这个key已经不存在了，对应的内存也得到释放从而起到内存回收的目的。

2.1 过期策略-DB结构

Redis本身是一个典型的key-value内存存储数据库，因此所有的key、value都保存在之前学习过的Dict结构中。不过在其database结构体中，有两个Dict：一个用来记录key-value，另一个用来记录key-TTL。

image-20240906200659111

内存图：

image-20240906200900446

2.2 惰性删除

惰性删除：顾明思议并不是在TTL到期后就立刻删除，而是在访问一个key的时候，检查该key的存活时间，如果已经过期才执行删除。

源码如图：

image-20240906201154363

2.3 周期删除

周期删除：顾明思议是通过一个定时任务，周期性的抽样部分过期的key，然后执行删除。执行周期有两种:

  • Redis会设置一个定时任务serverCron()，按照server.hz的频率来执行过期key清理，模式为SLOW
  • Redis的每个事件循环前会调用beforeSleep()函数，执行过期key清理，模式为FAST

源码如图：

image-20240906201647568

SLOW模式规则:

  1. 执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期100ms
  2. 执行清理耗时不超过一次执行周期的25%.
  3. 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
  4. 如果没达到时间上限(25ms)并且过期key比例大于10%，再进行一次抽样，否则结束

FAST模式规则(过期key比例小于10%不执行):

  1. 执行频率受beforeSleep()调用频率影响，但两次FAST模式间隔不低于2ms
  2. 执行清理耗时不超过1ms
  3. 逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期
  4. 如果没达到时间上限(1ms)并且过期key比例大于10%，再进行一次抽样，否则结束

三，内存淘汰策略

内存淘汰：就是当Redis内存使用达到设置的阈值时，Redis主动挑选部分key删除以释放更多内存的流程。

Redis会在处理客户端命令的方法processcommand()中尝试做内存淘汰:

image-20240906202441300

Redis支持8种不同策略来选择要删除的key：

  • noevictiqp：不淘汰任何key，但是内存满时不允许写入新数据，默认就是这种策略。
  • volatile-ttl：对设置了TTL的key，比较key的剩余TTL值，TTL越小越先被淘汰
  • allkeys-random：对全体key，随机进行淘汰。也就是直接从db->dict中随机挑选
  • volatile-random：对设置了TTL的key，随机进行淘汰。也就是从db->expires中随机挑选
  • allkeys-lru：对全体key，基于LRU算法进行淘汰
  • volatile-lru：对设置了TTL的key，基于LRU算法进行淘汰
  • allkeys-lfu：对全体key，基于LFU算法进行淘汰
  • volatile-lfu：对设置了TTL的key，基于LFI算法进行淘汰

比较容易混淆的有两个：

  • **LRU(**Least Recently Used)，最少最近使用，用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高。
  • LFU(Least Frequently Used)，最少频率使用，会统计每个key的访问频率，值越小淘汰优先级越高。

修改内存淘汰策略

maxmemory-policy noevication

Redis的数据都会被封装为RedisObject结构:

image-20240906203048927

LFU的访问次数之所以叫做逻辑访问次数，是因为并不是每次kev被访问都计数，而是通过运算:

  1. 生成0~1之间的随机数R
  2. 计算1/(旧次数*lfu_log_factor+1)，记录为P，lfu_log_factor默认为10
  3. 如果 R<P，则计数器+1，且最大不超过255
  4. 访问次数会随时间衰减，距离上一次访问时间每隔 llfu_decay_time分钟(默认1)，计数器 -1

内存淘汰执行流程

image-20240906204032750

四，面试题

面试题：Redis如何判断KEY是否过期呢？

答：在Redis中会有两个Dict，也就是HashTable，其中一个记录KEY-VALUE键值对，另一个记录KEY和过期时间。要判断一个KEY是否过期，只需要到记录过期时间的Dict中根据KEY查询即可。

面试题：Redis何时删除过期KEY？如何删除？

答：Redis的过期KEY处理有两种策略，分别是惰性删除和周期删除。

惰性删除是指在每次用户访问某个KEY时，判断KEY的过期时间：如果过期则删除；如果未过期则忽略。

周期删除有两种模式：

  • SLOW模式：通过一个定时任务，定期的抽样部分带有TTL的KEY，判断其是否过期。默认情况下定时任务的执行频率是每秒10次，但每次执行不能超过25毫秒。如果执行抽样后发现时间还有剩余，并且过期KEY的比例较高，则会多次抽样。
  • FAST模式：在Redis每次处理NIO事件之前，都会抽样部分带有TTL的KEY，判断是否过期，因此执行频率较高。但是每次执行时长不能超过1ms，如果时间充足并且过期KEY比例过高，也会多次抽样

面试题：当Redis内存不足时会怎么做？

答：这取决于配置的内存淘汰策略，Redis支持很多种内存淘汰策略，例如LRU、LFU、Random. 但默认的策略是直接拒绝新的写入请求。而如果设置了其它策略，则会在每次执行命令后判断占用内存是否达到阈值。如果达到阈值则会基于配置的淘汰策略尝试进行内存淘汰，直到占用内存小于阈值为止。

面试题：那你能聊聊LRU和LFU吗？

答：LRU是最近最久未使用。Redis的Key都是RedisObject，当启用LRU算法后，Redis会在Key的头信息中使用24个bit记录每个key的最近一次使用的时间lru。每次需要内存淘汰时，就会抽样一部分KEY，找出其中空闲时间最长的，也就是now - lru结果最大的，然后将其删除。如果内存依然不足，就重复这个过程。

由于采用了抽样来计算，这种算法只能说是一种近似LRU算法。因此在Redis4.0以后又引入了LFU算法，这种算法是统计最近最少使用，也就是按key的访问频率来统计。当启用LFU算法后，Redis会在key的头信息中使用24bit记录最近一次使用时间和逻辑访问频率。其中高16位是以分钟为单位的最近访问时间，后8位是逻辑访问次数。与LFU类似，每次需要内存淘汰时，就会抽样一部分KEY，找出其中逻辑访问次数最小的，将其淘汰。

面试题：逻辑访问次数是如何计算的？

答：由于记录访问次数的只有8bit，即便是无符号数，最大值只有255，不可能记录真实的访问次数。因此Redis统计的其实是逻辑访问次数。这其中有一个计算公式，会根据当前的访问次数做计算，结果要么是次数+1，要么是次数不变。但随着当前访问次数越大，+1的概率也会越低，并且最大值不超过255.

除此以外，逻辑访问次数还有一个衰减周期，默认为1分钟，即每隔1分钟逻辑访问次数会-1。这样逻辑访问次数就能基本反映出一个key的访问热度了。

avatar
文章
阅读
粉丝