《Redis 核心技术与实战》学习笔记 Day two

244 阅读9分钟

我们知道Redis是数据放到内存中的,这样响应速度才会快。这里有一个问题是绝对不能忽视的:就是一旦服务器宕机,内存中的数据将全部丢失。今天我们就来探讨下这个问题。

1.Redis宕机了,如何避免数据丢失?

带着这个问题出发,我们知道Redis存的数据是后端数据库的一部分数据,所以Redis中的数据我们后端数据库中也有一份。我们很容易就会想到,宕机后直接从后端数据库恢复不就好了?

这种方案会有什么问题,对于性能影响大不大?

我们使用Redis的原因之一就是响应快,若响应变慢了,这个是我们不愿看到的。上面提到从后端数据库直接恢复这个方案会有如下的问题:

  • 一是,需要频繁访问数据库,会给数据库带来巨大的压力;
  • 二是,这些数据是从慢速数据库中读取出来的,性能肯定比不上从 Redis 中读取,导致使用这些数据的应用程序响应变慢。所以,对 Redis 来说,实现数据的持久化,避免从后端数据库中进行恢复,是至关重要的。

2.Redis数据持久化的机制有哪些?他们的实现原理你都了解吗?

首先,先回答第一个问题,目前,Redis的持久化主要有两大机制,即AOF(Append Only File)日志和RDB快照

AOF日志是如何实现的?

说到日志,我们比较熟悉的是数据库的写前日志(Write Ahead Log)WAL,也就是说,在实际写数据之前,先把修改的数据记到日志文件中,以便故障时进行恢复。不过AOF日志恰好相反,它是写后日志。“写后”的意思是 Redis 是先执行命令,把数据写入内存,然后才记录日志,如下图所示:

407f2686083afc37351cfd9107319a1f.webp

  • 传统数据库的日志,例如redo log(重做日志),记录的是修改后的数据,而 AOF 里记录的是 Redis 收到的每一条命令,这些命令是以文本形式保存的。
  • 以Redis 收到“set testkey testvalue”命令后记录的日志为例,看看 AOF 日志的内容。
  • 其中,”*3“表示当前命令有三个部分,每部分都是以美元符号开头,后面紧跟着具体的命令、键或值。这里,“数字”表示这部分中的命令、键或值一共有多少字节。例如,“$3 set”表示这部分有 3 个字节,也就是“set”命令 如下图所示:

4d120bee623642e75fdf1c0700623a9f.webp

这种写后日志又有什么优点与风险呢?

我们要知道,Redis为了避免额外的检查开销,Redis在向 AOF 里面记录日志的时候,并不会先去对这些命令进行语法检查。所以,如果先记日志再执行命令的话,日志中就有可能记录了错误的命令,Redis 在使用日志恢复数据时,就可能会出错。

优点

  • 写后日志这种方式,就是先让系统执行命令,只有命令能执行成功,才会被记录到日志中,否则,系统就会直接向客户端报错。因此,使用写后日志的一大好处是可以避免记录错误命令的情况。
  • AOF还有另一个好处:它是在命令执行后才记录日志,所以不会阻塞当前的写操作。

风险

  • 其一:如果刚执行完一个命令,还没有来得及记日志就宕机了,那么这个命令和相应的数据就有丢失的风险。如果此时 Redis 是用作缓存,还可以从后端数据库重新读入数据进行恢复,但是,如果 Redis 是直接用作数据库的话,此时,因为命令没有记入日志,所以就无法用日志进行恢复了。
  • 其二:AOF 虽然避免了对当前命令的阻塞,但可能会给下一个操作(在主线程中做,因此也就是主线程也会则色)带来阻塞风险。这是因为,AOF 日志也是在主线程中执行的,如果在把日志文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操作也无法执行了。

注意

我们了解到 AOF 是以文件的形式在记录接收到的所有写命令。随着接收的写命令越来越多,AOF文件会越来越大。这也就意味着,我们一定要小心 AOF 文件过大带来的性能问题。

如何避免这两个风险呢?

仔细分析的话,你就会发现,这两个风险都是和 AOF 写回磁盘的时机相关的。这也就意味着,如果我们能够控制一个写命令执行完后 AOF 日志写回磁盘的时机,这两个风险就解除了。对于这个问题,Redis的AOF机制已经给我们提供了三个选择,就是 AOF 配置项appendfsync 的三个可选值。下面说说这三个选项。

三种写回策略

  • Always,同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
  • Everysec,每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
  • No,操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写入磁盘。

三种写回策略如何避免这两个风险的分析

其实,仔细分析,这三种写回策略都无法做到既能避免主线程阻塞和减少数据丢失的问题。这三种都只能算是,在避免影响主线程性能和避免数据丢失两者间取了个折中。分析其原因如下:

  • “同步写回”可以做到基本不丢数据,但是它在每一个写命令后都有一个慢速的落盘操作,不可避免地会影响主线程性能;
  • 虽然“操作系统控制的写回”在写完缓冲区后,就可以继续执行后续的命令,但是落盘的时机已经不在 Redis 手中了,只要 AOF 记录没有写回磁盘,一旦宕机对应的数据就丢失了;
  • “每秒写回”采用一秒写回一次的频率,避免了“同步写回”的性能开销,虽然减少了对系统性能的影响,但是如果发生宕机,上一秒内未落盘的命令操作仍然会丢失。

根据系统对高性能和高可靠性的要求选择使用哪种写回策略

  • 总结一下就是:想要获得高性能,就选择 No 策略;如果想要得到高可靠性保证,就选择 Always 策略;如果允许数据有一点丢失,又希望性能别受太大影响的话,那么就选择 Everysec 策略。
  • 同时上面提到的注意点,AOF文件过大怎么办?这肯定会带来性能问题的,这里的“性能问题”,主要在以下三方面:
    • 一是,文件系统本身对文件大小有限制,无法保存过大的文件;
    • 二是,如果文件太大,之后再往里面追加命令记录的话,效率也会变低;
    • 三是,如果发生宕机,AOF 中记录的命令要一个个被重新执行,用于故障恢复,如果日志文件太大,整个恢复过程就会非常缓慢,这就会影响到 Redis 的正常使用。下面探讨Redis是如何解决这三个问题的?

日志文件太大了怎么办?

  • 简单来说,Redis会让AOF重写。这个重写能够让日志文件变小,为什么?重写机制具有“多变一”功能。所谓的“多变一”,也就是说,旧日志文件中的多条命令,在重写后的新日志中变成了一条命令。其实,也有条件,假如数据并没有频繁操作,几乎所有的数据就操作过一次,很少部分操作过多次,这样重写才会大幅减少AOF占用的空间。
  • 不管怎么样,理解这个过程十分重要,重写是根据这个键值对当前的最新状态,为它生成对应的写入命令,如下图,有例子:

6528c699fdcf40b404af57040bb8d208.webp 当我们对一个列表先后做了 6 次修改操作后,列表的最后状态是[“D”, “C”, “N”],此时,只用 LPUSH u:list “N”, “C”, "D"这一条命令就能实现该数据的恢复,这就节省了五条命令的空间。对于被修改过成百上千次的键值对来说,重写能节省的空间当然就更大了。

AOF重写会不会阻塞主线程?

因为要把整个数据库的最新数据的操作日志都写回磁盘,仍然是一个非常耗时的过程。这时,我们就要继续关注另一个问题了:重写会不会阻塞主线程?

  • 和 AOF 日志由主线程写回不同,重写过程是由后台子进程 bgrewriteaof 来完成的,这也是为了避免阻塞主线程,导致数据库性能下降。
  • 重写的过程可以总结为“一个拷贝,两处日志“
    • “一个拷贝”就是指,每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程。此时,fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程,这里面就包含了数据库的最新数据。然后,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操作,记入重写日志。
    • “两处日志”,
      • 因为主线程未阻塞,仍然可以处理新来的操作。此时,如果有写操作,第一处日志就是指正在使用的 AOF 日志,Redis 会把这个操作写到它的缓冲区。这样一来,即使宕机了,这个 AOF 日志的操作仍然是齐全的,可以用于恢复。
      • 而第二处日志,就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样,重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后,重写日志记录的这些最新操作也会写入新的 AOF 文件,以保证数据库最新状态的记录。此时,我们就可以用新的 AOF 文件替代旧文件了。 这个过程如下图所示:

6b054eb1aed0734bd81ddab9a31d0be8.webp “用日志”时,也就是使用 AOF 进行故障恢复时,我们仍然需要把所有的操作记录都运行一遍。再加上 Redis 的单线程设计,这些命令操作只能一条一条按顺序执行,这个“重放”的过程就会很慢了。

新问题:有没有既能避免数据丢失,又能更快地恢复的方法呢?

答案:RDB快照.