Redis简介:
Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。
Redis 与其他 key - value 缓存产品有以下三个特点:
- Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
Redis 优势:
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
Redis安装部署:
1、上传redis-4.0.8.tar.gz到linux
2、解压redis-4.0.8.tar.gz并安装GCC环境(提前关闭防火墙)
[root@localhost tmp]# tar -zxvf redis-4.0.8.tar.gz
[root@localhost redis-4.0.8]# gcc -v
# -bash: gcc: 未找到命令
[root@localhost redis-4.0.8]# yum install -y gcc-c++
[root@localhost src]# systemctl stop firewalld.service
3、查看是否存在Makefile文件,存在则直接make编译redis源码
[root@localhost redis-4.0.8]# make && make install PREFIX=${your Redis Install Path}
4、启动redis //默认启动模式为前端启动
[root@localhost redis-4.0.8]# cd src
[root@localhost src]# ./redis-server
5、redis.conf文件命令参数
1、redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程:
daemonize no
2、当redis以守护进程方式运行时,redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定:
pidfile /var/run/redis.pid
3、指定redis监听端口,默认端口号为6379
port 6379
4、设置tcp的backlog,backlog是一个连接队列,backlog队列总和=未完成三次握手队列+已完成三次握手队列。在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn 的值,所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果:tcp-backlog 511
5、绑定的主机地址:
bind 127.0.0.1
6、当客户端闲置多长时间后关闭连接,如果指定为0,表示永不关闭:
timeout 300
7、设置检测客户端网络中断时间间隔,单位为秒,如果设置为0,则不检测,建议设置为60:
tcp-keepalive 0
8、指定日志记录级别,redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose:
loglevel verbose
9、日志记录方式,默认为标准输出,如果配置redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则
日志将会发送给/dev/null:
logfile stdout
10、设置数据库数量,默认值为16,默认当前数据库为0,可以使用select<dbid>命令在连接上指定数据库id:
databases 16
11、指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合:
save <seconds><changes>
save 300 10:表示300秒内有10个更改就将数据同步到数据文件
12、指定存储至本地数据库时是否压缩数据,默认为yes,redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,
但会导致数据库文件变得巨大:
rdbcompression yes
13、指定本地数据库文件名,默认值为dump.rdb:
dbfilename dump.rdb
14、指定本地数据库存放目录:
dir ./
15、设置当本机为slave服务时,设置master服务的IP地址及端口,在redis启动时,它会自动从master进行数据同步:
slaveof <masterip><masterport>
16、当master服务设置了密码保护时,slave服务连接master的密码:
masterauth <master-password>
17、设置redis连接密码,如果配置了连接密码,客户端在连接redis时需要通过auth <password>命令提供密码,默认关闭:
requirepass foobared
18、设置同一时间最大客户端连接数,默认无限制,redis可以同时打开的客户端连接数为redis进程可以打开的最大文件
描述符数,如果设置maxclients 0,表示不作限制。当客 户端连接数到达限制时,redis会关闭新的连接并向客户端返
回 max number of clients reached错误消息:
maxclients 128
19、指定redis最大内存限制,redis在启动时会把数据加载到内存中,达到最大内存后,redis会先尝试清除已到期或即将
到期的key,当次方法处理后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的
vm机制, 会把key存放内存,value会存放在swap区:
maxmemory <bytes>
20、设置缓存过期策略,有6种选择:(LRU算法最近最少使用)
volatile-lru:使用LRU算法移除key,只对设置了过期时间的key;
allkeys-lru:使用LRU算法移除key,作用对象所有key;
volatile-random:在过期集合key中随机移除key,只对设置了过期时间的key;
allkeys-random:随机移除key,作用对象为所有key;
volarile-ttl:移除哪些ttl值最小即最近要过期的key;
noeviction:永不过期,针对写操作,会返回错误信息。
maxmemory-policy noeviction
21、指定是否在每次更新操作后进行日志记录,redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电
时导致一段时间内数据丢失。因为redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内置
存在于内存中。默认为no:
appendonly no
22、指定更新日志文件名,默认为appendonly.aof:
appendfilename appendonly.aof
23、指定更新日志条件,共有3个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快);
always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全);
everysec:表示每秒同步一次(折中,默认值)
appendfsync everysec
24、指定是否启用虚拟内存机制,默认值为no,简单介绍一下,VM机制将数据分页存放,由redis将访问量较小的页即
冷数据 swap到磁盘上,访问多的页面由磁盘自动换出到内存中:
vm-enabled no
25、虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个redis实例共享:
vm-swap-file /tmp/redis.swap
26、将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储
的(redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。
默认值为 0:
vm-max-memory 0
27、redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,
vm-page-size是根据存储的数据大小来设定的,作者建议如果储存很多小对象,page大小最好设置为32或者64bytes;
如果存储很多大对象,则可以使用更大的page,如果不确定,就使用默认值:
vm-page-size 32
28、设置swap文件中page数量,由于页表(一种表示页面空闲或使用的bitmap)是放在内存中的,在磁盘上每8个
pages将消耗1byte的内存:
vm-pages 134217728
29、设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,
可能会造成长时间的延迟。默认值为4:
vm-max-threads 4
30、设置在客户端应答时,是否把较小的包含并为一个包发送,默认为开启:
glueoutputbuf yes
31、指定在超过一定数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法:
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
32、指定是否激活重置hash,默认开启:
activerehashing yes
33、指定包含其他配置文件,可以在同一主机上多个redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的
特定配置文件:
include /path/to/local.conf
6、将redis-4.0.8文件拷贝到redis-slave文件夹中并且复制两份
[root@localhost tmp]# mv redis-4.0.8 ./redis-master
[root@localhost tmp]# cp -r redis-master/ redis-slave1
[root@localhost tmp]# cp -r redis-master/ redis-slave2
7.修改每个redis.conf配置文件
[root@localhost redis-master]# vim redis.conf
修改如下:
bind 172.18.12.146 //本机IP地址
port 7000 //redis启动端口
daemonize yes //是否让redis以后台启动
pidfile /var/run/redis_7000.pid //修改对应端口号
slave-read-only yes //从库只读,看情况开启或关闭
从库请多修改一条参数slaveof <masterip> <masterport>
slaveof 172.18.12.146 7000
bind 172.18.12.146
port 7001
pidfile /var/run/redis_7001.pid
daemonize yes
slaveof 172.18.12.146 7000
bind 172.18.12.146
port 7002
pidfile /var/run/redis_7002.pid
daemonize yes
8.启动所有redis服务,这里直接写脚本一键启动
[root@localhost tmp]# touch start-all-redis.sh
[root@localhost tmp]# vim start-all-redis.sh
内容如下:
cd redis-master/src
./redis-server ../redis.conf
cd ../../
cd redis-slave1/src
./redis-server ../redis.conf
cd ../../
cd redis-slave2/src
./redis-server ../redis.conf
赋予脚本执行权限:
[root@localhost tmp]# chmod +x start-all-redis.sh
启动服务:
[root@localhost tmp]# ./start-all-redis.sh
[root@localhost tmp]# ps -ef |grep redis
root 18540 1 0 15:15 ? 00:00:00 ./redis-server 172.18.12.146:7000
root 18542 1 0 15:15 ? 00:00:00 ./redis-server 172.18.12.146:7001
root 18551 1 0 15:15 ? 00:00:00 ./redis-server 172.18.12.146:7002
root 18556 15199 0 15:15 pts/0 00:00:00 grep --color=auto redis
9、查看Redis主从状态
哨兵机制:
-
哨兵机制概述
Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行的进程,它能监控多个master-slave集群,发现master宕机后能进行自动切换。
特点:
1、redis是否按照预期良好地运行;
2、redis节点运行出现状况,能够通知另外一个进程(例如它的客户端);
3、master节点不可用时,能够选举出master的多个slave(如果有超过一个slave的话)中的一个来作为新的master,其它的slave节点会将它所追随的master的地址改为被提升为master的slave的新地址。
-
Sentinel支持集群
很显然,只使用单个sentinel进程来监控redis集群是不可靠的,当sentinel进程宕掉后(sentinel本身也有单点问题,single-point-of-failure)整个集群系统将无法按照预期的方式运行。所以有必要将sentinel集群,这样有几个好处:
1、sentinel进程宕掉了,依然可以进行redis集群的主备切换;
2、sentinel进程,如果这个进程运行出错,或者是网络堵塞,那么将无法实现redis集群的主备切换(单点问题);
3、sentinel,redis的客户端可以随意地连接任意一个sentinel来获得关于redis集群中的信息。
哨兵安装部署
1、sentinel.conf命令参数
# Example sentinel.conf
# sentinel监听端口
port 26379
# 工作目录
dir /Users/leon/develop/redis/tmp
pidfile "/app/redis/run/REDIS_CLUSTER_SEN_01.pid"
# 哨兵sentinel监控的redis主节点的 ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
# 这个配置项指定了需要多少失效时间,一个master才会被这个sentinel主观地认为是不可用的。 单位是毫秒,默认为30秒
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
# 这个数字越小,完成failover所需的时间就越长,但是如果这个数字越大,就意味着越 多的slave因
# 为replication而不可用。可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
sentinel parallel-syncs mymaster 1
# sentinel failover-timeout <master-name> <milliseconds>
#
# - 同一个sentinel对同一个master两次failover之间的间隔时间。
# - 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
# - 当想要取消一个正在进行的failover所需要的时间。
# - 当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,
# slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了。
sentinel failover-timeout mymaster 180000
2、修改所有redis下sentinel.conf文件
[root@localhost redis-master]# vim sentinel.conf
daemonize yes //后台启动,参数测试完成后在添加
port 8000
sentinel monitor mymaster 172.18.12.146 7000 2
[root@localhost redis-slave1]# vim sentinel.conf
port 8001
sentinel monitor mymaster 172.18.12.146 7000 2
[root@localhost redis-slave2]# vim sentinel.conf
port 8002
sentinel monitor mymaster 172.18.12.146 7000 2
3.编写一键启动所有sentinel哨兵脚本
[root@localhost tmp]# touch start-all-sentinel.sh
[root@localhost tmp]# vim start-all-sentinel.sh
添加如下:
cd redis-master/src/
./redis-sentinel ../sentinel.conf
cd ../../
cd redis-slave1/src/
./redis-sentinel ../sentinel.conf
cd ../../
cd redis-slave2/src/
./redis-sentinel ../sentinel.conf
cd ../../
赋予执行权限:
[root@localhost tmp]# chmod +x start-all-sentinel.sh
[root@localhost tmp]# ps -ef |grep redis //查看redis是否启动,没启动就启动
[root@localhost tmp]# ./start-all-redis.sh
[root@localhost tmp]# ./start-all-sentinel.sh
查看服务运行状态:
[root@localhost tmp]# ps -ef |grep redis
root 18803 1 0 16:13 ? 00:00:00 ./redis-server 172.18.12.146:7000
root 18808 1 0 16:13 ? 00:00:00 ./redis-server 172.18.12.146:7001
root 18813 1 0 16:13 ? 00:00:00 ./redis-server 172.18.12.146:7002
root 18820 1 0 16:14 ? 00:00:00 ./redis-sentinel *:8000 [sentinel]
root 18825 1 0 16:14 ? 00:00:00 ./redis-sentinel *:8001 [sentinel]
root 18830 1 0 16:14 ? 00:00:00 ./redis-sentinel *:8002 [sentinel]
root 18835 18614 0 16:14 pts/2 00:00:00 grep --color=auto redis
4、启动自己电脑的redis客户端,连接三台redis,port是自己三台redis的端口号,依次改变端口号连接就好(没连上查看自己的防火墙是否关闭)
5、演示主从同步
6、演示哨兵机制:
[root@localhost tmp]# ps -ef |grep redis
root 18803 1 0 16:13 ? 00:00:01 ./redis-server 172.18.12.146:7000
root 18808 1 0 16:13 ? 00:00:00 ./redis-server 172.18.12.146:7001
root 18813 1 0 16:13 ? 00:00:00 ./redis-server 172.18.12.146:7002
root 18820 1 0 16:14 ? 00:00:01 ./redis-sentinel *:8000 [sentinel]
root 18825 1 0 16:14 ? 00:00:01 ./redis-sentinel *:8001 [sentinel]
root 18830 1 0 16:14 ? 00:00:01 ./redis-sentinel *:8002 [sentinel]
root 18841 18614 0 16:25 pts/2 00:00:00 grep --color=auto redis
[root@localhost tmp]# kill -9 18803 //kill掉主redis