redis持久化机制之RDB和AOF

131 阅读4分钟

前言: redis是一个合格java开发工程师必须要掌握的知识,狐狸将自己的理解都写下来,此文章仅代表鄙人的总结和理解,如有错漏,欢迎指正...

1. 什么是RDB

RDB:每隔一段时间,把内存中的数据写入磁盘的临时文件,作为快照,恢复的时候把快照文件读进内存。如果宕机重启,那么内存里的数据肯定会没有的,那么再次启动redis后,则会恢复。

2. 备份与恢复

内存备份 --> 磁盘临时文件

临时文件 --> 恢复到内存

3. RDB优劣势

优势

  1. 每隔一段时间备份,全量备份

  2. 灾备简单,可以远程传输

  3. 子进程备份的时候,主进程不会有任何io操作(不会有写入修改或删除),保证备份数据的的完整性

  4. 相对AOF来说,当有更大文件的时候可以快速重启恢复

劣势

  1. 发生故障是,有可能会丢失最后一次的备份数据

  2. 子进程所占用的内存比会和父进程一模一样,如会造成CPU负担

  3. 由于定时全量备份是重量级操作,所以对于实时备份,就无法处理了。

4. RDB的配置

  1. 保存位置,可以在redis.conf自定义:

/user/local/redis/working/dump.rdb

  1. 保存机制:

save 900 1 save 300 10 save 60 10000 save 10 3

  • 如果1个缓存更新,则15分钟后备份
  • 如果10个缓存更新,则5分钟后备份
  • 如果10000个缓存更新,则1分钟后备份
  • 演示:更新3个缓存,10秒后备份
  • 演示:备份dump.rdb,删除重启
  1. stop-writes-on-bgsave-error

yes:如果save过程出错,则停止写操作

no:可能造成数据不一致

  1. rdbcompression

yes:开启rdb压缩模式

no:关闭,会节约cpu损耗,但是文件会大,道理同nginx

  1. rdbchecksum

AOF是什么?

RDB会丢失最后一次备份的rdb文件,但是其实也无所谓,其实也可以忽略不计,毕竟是缓存,丢了就丢了,但是如果追求数据的完整性,那就的考虑使用AOF了

AOF特点

  1. 以日志的形式来记录用户请求的写操作。读操作不会记录,因为写操作才会存存储。

  2. 文件以追加的形式而不是修改的形式。

  3. redis的aof恢复其实就是把追加的文件从开始到结尾读取执行写操作。

优势

  1. AOF更加耐用,可以以秒级别为单位备份,如果发生问题,也只会丢失最后一秒的数据,大大增加了可靠性和数据完整性。所以AOF可以每秒备份一次,使用fsync操作。

  2. 以log日志形式追加,如果磁盘满了,会执行 redis-check-aof 工具

  3. 当数据太大的时候,redis可以在后台自动重写aof。当redis继续把日志追加到老的文件中去时,重写也是非常安全的,不会影响客户端的读写操作。

  4. AOF 日志包含的所有写操作,会更加便于redis的解析恢复。

劣势

  1. 相同的数据,同一份数据,AOF比RDB大

  2. 针对不同的同步机制,AOF会比RDB慢,因为AOF每秒都会备份做写操作,这样相对与RDB来说就略低。 每秒备份fsync没毛病,但是如果客户端的每次写入就做一次备份fsync的话,那么redis的性能就会下降。

  3. AOF发生过bug,就是数据恢复的时候数据不完整,这样显得AOF会比较脆弱,容易出现bug,因为AOF没有RDB那么简单,但是呢为了防止bug的产生,AOF就不会根据旧的指令去重构,而是根据当时缓存中存在的数据指令去做重构,这样就更加健壮和可靠了。

到底采用RDB还是AOF呢?

  1. 如果你能接受一段时间的缓存丢失,那么可以使用RDB

  2. 如果你对实时性的数据比较care,那么就用AOF


结语:以往都是看别人的博客进行学习技术,其中不乏有精华博客也有吊儿郎当的CV大法文章,所以决定将自己所学所用所整理的知识分享给大家,主要还是想为了后浪们少走些弯路,多些正能量的博客,如有错漏,欢迎指正,仅希望大家能在我的博客中学到知识,解决到问题,那么就足够了。谢谢大家!(转载请注明原文出处)