JAVA基础知识复习-Redis

zhao
266 阅读12分钟

简介

Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes, Streams, HyperLogLogs, Bitmaps.

概念要点

  • 支持数据持久化，可以将内存中的数据保存在磁盘里，重启的时候可以再次加载
  • 支持Sting,list,set,zset,hash等数据结构
  • 支持数据的备份，即master-slave模式的数据备份
  • 单线程
    • 单进程模型来处理客户端的请求。对读写等时间的响应是通过epoll函数的包装来做到。redis的实际处理速度完全依靠主进程的执行效率
    • epoll是linux内核为处理大批量文件描述符而作了改进的epoll，是liunx下多路复用IO接口select/poll的增强版本,他能显著提高程序在大量并发连接中只有少量活跃的情况下的CPU利用率
  • 默认16个数据库，select切换
  • Dbsize:查看当前数据库的key数量
  • Flushdb:清空当前库
  • Flushall:通杀全部库
  • 默认端口：6379
  • redis索引是从零开始
  • 统一密码管理
    • config get requirepass
    • config set requirepass pwd(永久生效请改配置文件)
    • Auth pwd

配置文件要点

  • daemonize no
    • Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
  • pidfile /var/run/redis.pid
    • 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
  • port 6379
    • 指定Redis监听端口，默认端口为6379
  • bind 127.0.0.1
    • 绑定的主机地址
  • timeout 300
    • 客户端闲置多长时间后关闭连接(0，表示关闭该功能 )
  • loglevel verbose
    • 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
  • logfile stdout
    • 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
  • databases 16
    • 设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id
  • save
    • 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
    • 默认配置
      • save 900 1
      • save 300 10
      • save 60 10000
      • 分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改
  • rdbcompression yes
    • 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
  • dbfilename dump.rdb
    • 指定本地数据库文件名，默认值为dump.rdb
  • dir ./
    • 指定本地数据库存放目录
  • slaveof
    • 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
  • masterauth
    • 当master服务设置了密码保护时，slav服务连接master的密码
  • requirepass foobared
    • 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH 命令提供密码，默认关闭
  • maxclients 128
    • 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
  • maxmemory
    • 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
  • appendonly no
    • 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
  • appendfilename appendonly.aof
    • 指定更新日志文件名，默认为appendonly.aof
  • appendfsync everysec
    • 指定更新日志条件
      • no：表示等操作系统进行数据缓存同步到磁盘（快）
      • always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
      • everysec：表示每秒同步一次（折衷，默认值）
  • vm-enabled no
    • 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
  • vm-swap-file /tmp/redis.swap
    • 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
  • vm-max-memory 0
    • 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
  • vm-page-size 32
    • Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
  • vm-pages 134217728
    • 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存
  • vm-max-threads 4
    • 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
  • glueoutputbuf yes
    • 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
  • hash-max-zipmap-entries 64 /hash-max-zipmap-value 512
    • 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
  • activerehashing yes
    • 指定是否激活重置哈希，默认为开启
  • include /path/to/local.conf
    • 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

持久化

RDB

在指定的时间间隔内将内存中的数据集快照(dump.rdb)写入磁盘即Snapshot快照，恢复时将快照文件读入内存。
redis会单独创建（fork）一个子进程（所有数据保持一致）来进行持久化，会将数据写入到一个临时文件中，待持久化结束,在用这个临时文件替换上次持久化的文件，整个过程，主进程不进行任何IO操作，这就确保了极高的性能，如果需要大规模数据恢复，且对于数据完整性不敏感，RDB方式比AOF更加高效。RDB的缺点是最后一次持久化的数据会丢失。

AOF

以日志（Appendonly.aof）的形式记录每个写操作,只允许追加文件不可以修改，redis启动会重新执行一遍去恢复。
重写即aof文件超过阀值（默认配置是aof文件大小是上次rewrite后大小的一倍且文件大于64M）触发(命令bgrewriteaof)，只保留恢复数据的最小指令集合，fork新进程，每条记录有一个set语句，不读取旧aof。

安装（哨兵模式）

常规安装

远程连接命令ssh以及文件传输scp

ssh root@IP
scp ./1.txt root@IP:/home

下载解压

wget http://download.redis.io/releases/redis-4.0.14.tar.gz
tar -zxvf redis-4.0.14.tar.gz
make PREFIX=/home/redis install
# 准备三个redis.conf
cp /home/redis-4.0.14/redis.conf /home/redis/bin/redis-6379.conf
cp /home/redis-4.0.14/redis.conf /home/redis/bin/redis-6380.conf
cp /home/redis-4.0.14/redis.conf /home/redis/bin/redis-6381.conf

修改配置

  • redis-6379.conf
# 使得外网可以访问
# bind 127.0.0.1
protected-mode no
# 端口
port 6379
# 后台运行
daemonize yes
# pidfile
pidfile /var/run/redis_6379.pid
# logfile
logfile redis_6379.log
# dump文件
dbfilename dump_6379.rdb
# 设置密码
requirepass 123456
# 取消从节点只读
slave-read-only no
  • redis-6380.conf
# 使得外网可以访问
# bind 127.0.0.1
protected-mode no
# 端口
port 6380
# 后台运行
daemonize yes
# pidfile
pidfile /var/run/redis_6380.pid
# logfile
logfile redis_6380.log
# dump文件
dbfilename dump_6380.rdb
# 设置密码
requirepass 123456
# 取消从节点只读
slave-read-only no
# 主从
slaveof 127.0.0.1 123456
masterauth 123456
  • redis-6381.conf
# 使得外网可以访问
# bind 127.0.0.1
protected-mode no
# 端口
port 6381
# 后台运行
daemonize yes
# pidfile
pidfile /var/run/redis_6381.pid
# logfile
logfile redis_6381.log
# dump文件
dbfilename dump_6381.rdb
# 设置密码
requirepass 123456
# 取消从节点只读
slave-read-only no
# 主从
slaveof 127.0.0.1 123456
masterauth 123456

分别启动(/home/redis/)

./redis-server ./redis-6379.conf
./redis-server ./redis-6380.conf
./redis-server ./redis-6381.conf

检查主备(/home/redis/)

./redis-cli -h 127.0.0.1 -p 6379 -a 123456
./redis-cli -h 127.0.0.1 -p 6380 -a 123456
./redis-cli -h 127.0.0.1 -p 6381 -a 123456

sentinel

cp /home/redis-4.0.14/sentinel.conf /home/redis/bin/sentinel-26379.conf
cp /home/redis-4.0.14/sentinel.conf /home/redis/bin/sentinel-26380.conf
cp /home/redis-4.0.14/sentinel.conf /home/redis/bin/sentinel-26381.conf

sentinel-26379.conf

protected-mode no
daemonize yes
port 26379
dir ./26379/
logfile sentinel-26379.log
# 至少2个sentinel认为master失效才失效
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel auth-pass mymaster 123456
# 5秒后才认为不可用
sentinel down-after-milliseconds mymaster 5000
# 在发生failover主备切换时最多有1个slave对新的master进行同步、其他slave可用
sentinel parallel-syncs mymaster 1
# 对同一个master两次failover之间的间隔时间
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes

sentinel-26380.conf

protected-mode no
daemonize yes
port 26380
dir ./26380/
logfile sentinel-26380.log
# 至少2个sentinel认为master失效才失效
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel auth-pass mymaster 123456
# 5秒后才认为不可用
sentinel down-after-milliseconds mymaster 5000
# 在发生failover主备切换时最多有1个slave对新的master进行同步、其他slave可用
sentinel parallel-syncs mymaster 1
# 对同一个master两次failover之间的间隔时间
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes

sentinel-26381.conf

protected-mode no
daemonize yes
port 26381
dir ./26381/
logfile sentinel-26381.log
# 至少2个sentinel认为master失效才失效
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel auth-pass mymaster 123456
# 5秒后才认为不可用
sentinel down-after-milliseconds mymaster 5000
# 在发生failover主备切换时最多有1个slave对新的master进行同步、其他slave可用
sentinel parallel-syncs mymaster 1
# 对同一个master两次failover之间的间隔时间
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes

启动sentinel(/home/redis/)

./redis-sentinel ./sentinel-26379.conf
./redis-sentinel ./sentinel-26380.conf
./redis-sentinel ./sentinel-26381.conf

效果

模拟故障(kill主redis)

3225:X 02 Jan 11:45:22.438 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3225:X 02 Jan 11:45:22.438 # Redis version=4.0.14, bits=64, commit=00000000, modified=0, pid=3225, just started
3225:X 02 Jan 11:45:22.438 # Configuration loaded
3226:X 02 Jan 11:45:22.441 * Running mode=sentinel, port=26379.
3226:X 02 Jan 11:45:22.441 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
3226:X 02 Jan 11:45:22.454 # Sentinel ID is e60388523050ab5b9e74537f1702195f9c7d290d
3226:X 02 Jan 11:45:22.458 # +monitor master mymaster 127.0.0.1 6379 quorum 2
3226:X 02 Jan 11:45:22.458 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
3226:X 02 Jan 11:45:22.474 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
3226:X 02 Jan 11:45:24.502 * +sentinel sentinel 7b63bc79cd8874acfe96ebd859a1e226db5e641b 127.0.0.1 26380 @ mymaster 127.0.0.1 6379
3226:X 02 Jan 11:45:25.031 * +sentinel sentinel e9e80190c4242cf69a051541be0b3f171237d11a 127.0.0.1 26381 @ mymaster 127.0.0.1 6379
3226:X 02 Jan 11:46:39.894 # +sdown master mymaster 127.0.0.1 6379
3226:X 02 Jan 11:46:39.942 # +new-epoch 1
3226:X 02 Jan 11:46:39.966 # +vote-for-leader 7b63bc79cd8874acfe96ebd859a1e226db5e641b 1
3226:X 02 Jan 11:46:39.966 # +odown master mymaster 127.0.0.1 6379 #quorum 3/2
3226:X 02 Jan 11:46:39.966 # Next failover delay: I will not start a failover before Thu Jan  2 11:52:40 2020
3226:X 02 Jan 11:46:40.991 # +config-update-from sentinel 7b63bc79cd8874acfe96ebd859a1e226db5e641b 127.0.0.1 26380 @ mymaster 127.0.0.1 6379
3226:X 02 Jan 11:46:40.991 # +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6381
3226:X 02 Jan 11:46:40.991 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6381
3226:X 02 Jan 11:46:40.991 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381
3226:X 02 Jan 11:46:46.034 # +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381

哨兵模式要点

选举原理

数据丢失

avatar
文章
阅读
粉丝