Redis6系列10-缓存过期淘汰策略

hsfxuebao
1,095 阅读7分钟

欢迎大家关注 github.com/hsfxuebao ，希望对大家有所帮助，要是觉得可以的话麻烦给点一下Star哈

0. 常见面试题

  • 生产上你们你们的redis内存设置多少?
  • 如何配置、修改redis的内存大小
  • 如果内存满了你怎么办
  • redis清理内存的方式？定期删除和惰性删除了解过吗
  • redis缓存淘汰策略
  • redis的LRU了解过吗，参考blog.csdn.net/weixin_4827…

1. 概述

查看Redis最大占用内存，如下图所示

在这里插入图片描述

打开redis配置文件，设置maxmemory参数，maxmemory是bytes字节类型，注意转换。

redis默认内存多少可以用？ 如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制大小，在32位操作系统下最多使用3GB内存

一般生产上你如何配置？ 一般推荐Redis设置内存为最大物理内存的四分之三

如何修改redis内存设置

  1. 通过修改文件配置，如下图所示

在这里插入图片描述 2. 通过命令修改，如下图所示

在这里插入图片描述

什么命令查看redis内存使用情况? info memory

真要打满了会怎么样？如果Redis内存使用超出了设置的最大值会怎样？ 改改配置，故意把最大值设为1个byte试试，如下图所示:

在这里插入图片描述

2. redis设置键的过期时间

2.1 设置和解除过期时间

  • expire key ttl：设置生存时间为ttl秒

  • pexpire key ttl：设置生存时间为ttl毫秒

  • expireat key timestamp：设置过期时间为timstamp的秒数时间戳

  • pexpireat key timestamp：过期时间为毫秒时间戳

  • persist key：解除过期时间

  • ttl key：获取剩余生存时间 虽然有多种设置过期时间的命令，但是实际上expire、pexpire、expireat三个命令都是使用pexpireat来实现的。经过转换之后，最终的执行效果都和执行pexpireat 命令一样。如下：

image.png

2.2 保存过期时间

redisDB 结构中的 expire 字典保存了数据库中所有键的过期时间，称为过期字典：

  • 过期字典的键是一个指针，这个指针指向键空间的某个键对象
  • 过期字典的值是一个 long long 类型的整数，保存了键所指向的数据库键的过期时间-毫秒精度的unix时间戳。
  • 保存的过期时间 = 当前毫秒时间戳 + 过期时间毫秒时间戳 如下：
typedef struct redisDb {
    // 保存了该数据库中所有键值对，键是字符串，值是多种类型
    dict *dict;                 /* The keyspace for this DB  */
    // 保存了该数据中所有设置了过期时间的key
    dict *expires;              /* Timeout of keys with a timeout set */
    // 保存客户端阻塞
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    // 保存被watch的命令
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    // 保存了数据库索引
    int id;                     /* Database ID */
    long long avg_ttl;          /* Average TTL, just for stats */
} redisDb;

数据结构如下： image.png

3. redis过期键删除策略

如果一个键是过期的，那它到了过期时间之后是不是马上就从内存中被被删除呢？？那过期后到底什么时候被删除呢？？是个什么操作？

3.1 立即删除

Redis不可能时时刻刻遍历所有被设置了生存时间的key，来检测数据是否已经到达过期时间，然后对它进行删除。

立即删除能保证内存中数据的最大新鲜度，因为它保证过期键值会在过期后马上被删除，其所占用的内存也会随之释放。但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间，如果刚好碰上了cpu很忙的时候，比如正在做交集或排序等计算的时候，就会给cpu造成额外的压力，让CPU心累，时时需要删除，忙死的。这会产生大量的性能消耗，同时也会影响数据的读取操作。

总结：对CPU不友好，用处理器性能换取存储空间 （拿时间换空间）

3.2 惰性删除

数据到达过期时间，不做处理。等下次访问该数据时，

  • 如果未过期，返回数据 ；
  • 发现已过期，删除，返回不存在。

惰性删除策略的缺点是, 它对内存是最不友好的。

如果一个键已经过期，而这个键又仍然保留在redis中，那么只要这个过期键不被删除，它所占用的内存就不会释放。

在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键又恰好没有被访问到的话，那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB)，我们甚至可以将这种情况看作是一种内存泄漏–无用的垃圾数据占用了大量的内存，而服务器却不会自己去释放它们，这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。

总结：对memory不友好，用存储空间换取处理器性能（拿空间换时间）

3.3 定期删除

定期删除策略是前两种策略的折中：定期删除策略每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响。

周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度。特点如下：

  • CPU性能占用设置有峰值，检测频度可自定义设置  
  • 内存压力不是很大，长期占用内存的冷数据会被持续清理  

举例子：redis默认每个100ms检查，是否有过期的key，有过期key则删除。 注意： redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查( 如果每隔100ms,全部key进行检查，redis直接进去ICU )。因此，如果只采用定期删除策略，会导致很多key到时间没有删除。

定期删除策略的难点是确定删除操作执行的时长和频率：如果删除操作执行得太频繁，或者执行的时间太长，定期删除策略就会退化成立即删除策略，以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少，或者执行的时间太短，定期删除策略又会和惰性删除束略一样，出现浪费内存的情况。因此，如果采用定期删除策略的话，服务器必须根据情况，合理地设置删除操作的执行时长和执行频率。

总结：周期性抽查存储空间 （随机抽查，重点抽查）。定期抽样key，判断是否过期，但是总会存在漏网之鱼

3.4 总结

  • 定期删除时，从来没有被抽查到
  • 惰性删除时，也从来没有被点中使用过

这会导致大量过期的key堆积在内存中，导致redis内存空间紧张或者很快耗尽。必须要有一个更好的兜底方案，redis缓存淘汰策略登场。

4. 淘汰策略

在(redis6 版本)中一共有如下淘汰策略：

  • noeviction: 不会驱逐任何key
  • allkeys-lru: 对所有key使用LRU算法进行删除
  • volatile-lru: 对所有设置了过期时间的key使用LRU算法进行删除
  • allkeys-random: 对所有key随机删除
  • volatile-random: 对所有设置了过期时间的key随机删除
  • volatile-ttl: 删除马上要过期的key
  • allkeys-lfu: 对所有key使用LFU算法进行删除
  • volatile-lfu: 对所有设置了过期时间的key使用LFU算法进行删除

总结：2 * 4 得8，一共8中淘汰策略

  • 2个维度：过期键中筛选 和 所有键中筛选
  • 4个方面：LRU、LFU、random、ttl

你平时用哪一种淘汰策略？ 大部分公司都是使用 allkeys-lru，注意Redis默认出场默认的淘汰策略是 noeviction: 不会驱逐任何key

在这里插入图片描述

参考文档：
Redis的缓存过期淘汰策略
Redis的过期策略和内存淘汰策略不要搞混淆

avatar
文章
阅读
粉丝