Redis 持久化

RDB

RDB 叫做 Redis 数据备份文件，它会对 Redis 内存中的数据做一次快照，全量保存内存数据，是 Redis 的默认持久化方式

执行时机

停机前；
根据配置文件指定的时间来执行；

执行过程

执行 bgsave 命令；
主进程会 fork 一个子进程来工作
子进程复制主进程的页表，共享一块物理内存空间；
子进程读取该物理内存空间，生成 RDB 文件，最后替换掉原来的 RDB 文件；

缺点

生成 RDB 的时间较长，两次生成 RDB 之间会有数据丢失的风险；
主进程 fork 子进程时，若主进程的页表太大，会长时间阻塞主进程；
当生成 RDB 文件时，若有新的命令改变了主进程对应的内存数据，会产生操作系统的写时复制，把物理块复制两份，子进程只能读取旧的数据，新的数据只能等到下次来读取

AOF

AOF 叫做命令追加文件，当 Redis 成功执行了一条写操作指令，AOF 会把该命令写入到 AOF 文件中

写入过程

先在用户态中，把执行的命令存储到用户缓冲区 aof_buf 中；
然后把用户缓冲区 aof_buf 中的数据写到内核缓冲区 page_cache；
最后将内核缓冲区 page_cache 中的数据通过 I/O 操作写到磁盘上；

刷盘策略

Always：当成功执行了一条写命令后，就把该命令写入到 AOF 文件中；
EverySec：当成功执行了一条写命令后，把该命令存储到内核缓冲区中，然后每秒同步到磁盘上；
No：当成功执行了一条写命令后，把该命令存储到内核缓冲区中，至于什么时候写入磁盘，由操作系统决定；

AOF 重写

因为记录的是命令，所以 AOF 文件会比 RDB 文件大很多

所以 AOF 就具有重写机制：对于多次写操作来说，只有最后一个的写入才是有效的，即我们只需要记录最后一个写入命令即可，使用 bgrewirteaof可以执行文件重写功能，降低体积，用最少的命令记录达到相同的效果。

RDB 和 AOF 的比较

Redis 内存回收策略

过期删除策略

Redis 可以对设置了过期时间的 Key 进行删除的操作

typedef struct redisDb {
    dict *dict;                 /* The keyspace for this DB */
    dict *expires;              /* Timeout of keys with a timeout set */
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    int id;                     /* Database ID */
    long long avg_ttl;          /* Average TTL, just for stats */
    unsigned long expires_cursor; /* Cursor of the active expire cycle. */
    list *defrag_later;/* List of key names to attempt to defrag one by one, gradually. */    
} redisDb;

dict：存储所有的键值对信息；

expires：存储所有设置了 TTL 的 key， key - TTL

删除方式

惰性删除

当客户端访问这个 key 时，先去判断这个key 有没有过期，如果过期了，就把这个键删除并返回 nil

每次访问的时候才删除 key，对 CPU 友好，不会占用过多的资源；
如果过期的 key 长时间得不到访问，则会一直留在内存中，对内存不友好；

周期删除

服务端通过一个定时任务，在 expires 中抽取一定数量的 key 进行扫描，删除已经过期的 key

Redis服务初始化函数initServer()中设置定时任务，按照server.hz的频率来执行过期 key 清理，模式为SLOW
Redis 的每个事件循环前会调用beforeSleep()函数，执行过期key清理，模式为FAST

SLOW模式规则：

执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期 100ms
执行清理耗时不超过一次执行周期的 25%，默认slow模式耗时不超过 25ms
逐个遍历 db，逐个遍历 db 中的 bucket，抽取20个 key 判断是否过期
如果没达到时间上限（25ms）并且过期 key 比例大于10%，再进行一次抽样，否则结束

FAST 模式规则（过期key比例小于10%不执行）：

执行频率受 beforeSleep() 调用频率影响，但两次FAST模式间隔不低于2ms
执行清理耗时不超过1ms
逐个遍历db，逐个遍历db中的 bucket，抽取20个key判断是否过期如果没达到时间上限（1ms）并且过期key 比例大于10%，再进行一次抽样，否则结束

小总结

RedisKey的 TTL 记录方式：在 RedisDB 中通过一个 Dict 记录每个 Key 的 TTL 时间

过期 key 的删除策略：

惰性清理：每次查找 key 时判断是否过期，如果过期则删除
定期清理：定期抽样部分 key，判断是否过期，如果过期则删除。定期清理的两种模式：

SLOW 模式执行频率默认为10，每次不超过25ms

FAST 模式执行频率不固定，但两次间隔不低于2ms，每次耗时不超过1ms

内存淘汰策略

内存淘汰策略是指当 Redis 内存已经超过了 Redis 设置的最大内存后，将会根据内存淘汰策略删除部分符合条件的 key，保障 Redis 高效运行

淘汰策略：

noeviction：不淘汰任何 key，但是内存满时不允许写入新数据，默认就是这种策略。
volatile-ttl：对设置了TTL的 key，比较 key 的剩余 TTL 值，TTL 越小越先被淘汰
allkeys-random：对全体key ，随机进行淘汰。也就是直接从 db->dict 中随机挑选
volatile-random：对设置了 TTL 的key ，随机进行淘汰。也就是从 db->expires 中随机挑选。
allkeys-lru：对全体 key，基于 LRU 算法进行淘汰
volatile-lru：对设置了 TTL 的 key，基于LRU算法进行淘汰
allkeys-lfu：对全体 key，基于 LFU 算法进行淘汰
volatile-lfu：对设置了 TTL 的 key，基于 LFU 算法进行淘汰

比较容易混淆的有两个：

LRU（Least Recently Used），最少最近使用。用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高。
LFU（Least Frequently Used），最少频率使用。会统计每个 key 的访问频率，值越小淘汰优先级越高

Redis 持久化和内存回收策略