Redis介绍
Redis是一个开源的、使用C语言编写的NoSOL数据库,Redis服务器程序是单进程模型。
Redis基于内存运行并支持持久化(支持存储在磁盘),采用key-value(键值对)的存储形式,是目前分布式架构中不可或缺的一环。
Redis服务在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。
若在服务器上只运行一个Redis进程, 当多个客户端同时访问时, 服务器的处理能力是会有一定程度的下降;
若在同一台服务器上开启 多个Redis进程, Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。 即在实际生产环境中, 需要根据实际的需求来决定开启多少个Redis进程。 (一般建议开启2个,用作备份和抗高并发)
若对高并发要求更高一些, 可能会考虑在同一台服务器上开启多个进程。 若CPU资源比较紧张,采用单进程即可。
Redis优点
1.具有极高的数据读写速度:数据读取的速度最高可达到110000次/s,数据写入速度最高可达到81000次/s
2.支持丰富的数据类型:支持key-value、 Strings、Lists、Hashes ( 散列值)、Sets及OrderedSets等数据类型操作。 pS : string 字符串(可以为整形、浮点和字符型,统称为元素) list列表:(实现队列,元素不唯一,先入先出原则) set 集合:(各不相同的元素) hash hash散列值:( hash的key必须是唯一的) set /ordered sets集合/有序集合
3.支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
4.原子性: Redis所有 操作都是原子性的。
5.支持数据备份:即master-salve 模式的数据备份。
Redis主从复制
主从复制,是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。
默认情况下,每台 Redis 服务器都是主节点;且一个主节点可以有多个从节点 (或没有从节点),但一个从节点只能有一个主节点。
Redis主从复制作用
主从复制流程
1.若启动一个slave机器进程,则它会向Master机器发送一个sync command命令,请求同步连接.
2.无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中.
3.后台进程完成缓存操作之后,Master机器就会向slave机器发送数据文件,slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,接着Master机器就会将修改数据的所有操作一并发送给slave端机器.若slave出现故障导致宕机,则恢复正常后会自动重新连接.
4.Master机器收到slave端机器的连接后,将其完整的数据文件发送给slave端机器,如果Mater同时收到多个slave发来的同步请求,则Master会在后台启动一个进程以保存数据文件,然后将其发送给所有的slave端机器,确保所有的slave端机器都正常.
部署Redis主从复制
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2)#安装gcc gcc-c++ 编译器
yum install -y gcc gcc-c++ make
3)#切换至/opt目录,把下载好的安装包上传进来并解压
cd /opt/
tar zxvf redis-5.0.7.tar.gz
4)#进入目录然后编译安装
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了Makefile 文件,所以在解压完软件包后,不用先执行./configure 进行配置,可直接执行make与make install命令进行安装
5)#执行install_server.sh脚本
cd /opt/redis-5.0.7/utils
./install_server.sh #一路回车,指导让你输入路径这一步
#路径需要手动输入
Please select the redis executable path [] /usr/local/redis/bin/ redis-server
Selected config:
Port : 6379 #默认侦听端口为6379
Config file : /etc/redis/6379.conf #配置文件路径
Log file : /var/log/redis_6379.log #日志文件路径
Data dir : /var/lib/ redis/6379 #数据文件路径
Executable : /usr/local/redis/bin/redis-server #可执行文件路径
Cli Executable : /usr/local/redis/bin/redis-cli #客户端命令工具
6)#优化路径并查端口是否打开
#把redis的可执行程序文件放入路径环境变量的目录中便于系统识别
ln -s /usr/local/redis/bin/* /usr/local/bin/
#当install_server.sh 脚本运行完毕,Redis 服务就已经启动,默认侦听端口为6379
netstat -natp | grep redis
7)#修改配置文件
vim /etc/redis/6379.conf
bind 127.0.0.1 192.168.200.50 #70行,添加监听的主机地址
port 6379 #93行,Redis默认的监听端口
daemonize yes #137行,启用守护进程
pidfile /var/run/redis_6379.pid #159行,指定PID文件
loglevel notice #167行,日志级别
logfile /var/log/redis_6379.log #172行,指定日志文
8) #重启redis查看监听的地址
/etc/init.d/redis_6379 restart #重启
ss -antp|grep redis
9)##Redis服务控制
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
```js
修改Master节点配置文件(192.168.59.112 )
(1)#修改master主配置文件
vim /etc/redis/6379.conf
bind 0.0.0.0 #70行,注释掉bind项,或修改为0.0.0.0,默认监听所有网卡
daemonize yes #137行,开启守护进程
logfile /var/log/redis_6379.log #172行,指定日志文件目录
dir /var/lib/redis/6379 #264行,指定工作目录
appendonly yes #700行,开启AOF持久化功能
(2)#重启redis
/etc/init.d/redis_6379 restart
```js
(1)修改master主配置文件
4.修改Slave节点配置文件(Slave节点192.168.59.113/192.168.59.114)
(1)#修改slave1节点、slave2节点配置文件,2节点修改步骤相同
vim /etc/redis/6379.conf
bind 0.0.0.0 #70行,修改监听地址为0.0.0.0
daemonize yes #137行,开启守护进程
logfile /var/log/redis_6379.log #172行,指定日志文件目录
dir /var/lib/redis/6379 #264行,指定工作目录
replicaof 192.168.80.10 6379 #287行,取消注释并指定要同步的Master节点IP和端口
appendonly yes #700行,开启AOF持久化功能
(2)#重启slave1节点和slave2节点redis服务
/etc/init.d/redis_6379 restart
```js
修改slave1和slave2节点配置
slave2同上
验证主从效果
#在Master节点上看日志:
tail -f /var/log/redis_6379.log
#在Master节点上验证从节点:
redis-cli
127.0.0.1:6379> info replication
#创建数据验证
##在master创建数据
set name yxp
##在从节点上查看
get name
```js
创建数据验证
Redis哨兵模式
哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移。
哨兵模式的作用
- 监控:哨兵会不断地检查主节点和从节点是否运作正常。
- 自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。
- 通知(提醒):哨兵可以将故障转移的结果发送给客户端。
哨兵模式的结构
故障转移机制
1.由哨兵节点定期监控发现主节点是否出现了故障,每个哨兵节点每隔1秒会问主节点、从节点及其它哨兵节点发送一次ping命令做一次心检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数哨兵节点认为该主节点主观下线了,这样就客观下线了。
2.当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一个哨兵节点为leader,来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。
3.由leader哨兵节点执行故障转移,过程如下:
将某一个从节点升级为新的主节点,让其它从节点指向新的主节点; 若原主节点恢复也变成从节点,并指向新的主节点; 通知客户端主节点已经更换。 需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。
哨兵模式部署
所有机子先部署好主从复制
实验环境
修改Redis哨兵模式的配置文件(所有哨兵节点操作)
vim /opt/redis-5.0.7/sentinel.conf
protected-mode no #17行,关闭保护模式
port 26379 #21行,Redis哨兵默认的监听端口
daemonize yes #26行,指定sentinel为后台启动
logfile "/var/log/sentinel.log" #36行,指定日志存放路径
dir "/var/lib/redis/6379" #65行,指定数据库存放路径
sentinel monitor mymaster 192.168.109.131 6379 2 #84行,修改
#指定该哨兵节点监控192.168.109.131:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 3000 #113行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000 #146行,同一个sentinel对同一个master两次failover之间的间隔时间(180秒)
```js
启动哨兵模式
查看哨兵信息
redis-cli -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.59.112:6379,slaves=2,sentinels=3
[1]+ 完成 redis-sentinel sentinel.conf
```js
模拟故障
#在Master 上查看redis-server进程号:
ps -ef | grep redis
#杀死 Master 节点上redis-server的进程号
kill -9 79522 #Master节点上redis-server的进程号
#验证master是转换至从服务器
tail -f /var/log/sentinel.log
#在Slave上查看是否转换成功
redis-cli -p 26379 INFO Sentinel
```js
Redis集群模式
- 集群,即 Redis Cluster, 是Redis 3. 0开始引入的分布式存储方案。
- 集群由多个节点(Node) 组成,Redis 的数据分布在这些节点中。
- 集群中的节点分为主节点和从节点;只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
集群的作用
集群模式的数据分片
集群模式的主从复制模型
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。 为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为主节点继续服务。当B和B1都失败后,集群将不可用。
搭建Redis 群集模式
初始化环境
| 服务器类型 | 系统和IP地址 | 需要安装的组件 |
|---|---|---|
| master1 | 192.168.239.10 | redis-5.0.7.tar.gz |
| master2 | 192.168.239.20 | redis-5.0.7.tar.gz |
| master3 | 192.168.239.30 | redis-5.0.7.tar.gz |
| slave1 | 192.168.239.40 | redis-5.0.7.tar.gz |
| slave2 | 192.168.239.50 | redis-5.0.7.tar.gz |
| slave3 | 192.168.239.60 | redis-5.0.7.tar.gz |
#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
Redis部署
开启集群功能
修改任意一台服务器配置文件
vim /opt/redis-5.0.7/redis.conf
bind 192.168.239.10 #69行,注释掉bind项,改为自己
protected-mode no #88行,修改,关闭保护模式
port 6379 #92行redis默认监听端口,
daemonize yes #136行,开启守护进程,以独立进程启动
cluster-enabled yes #832行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000 #846行,取消注释群集超时时间设置
appendonly yes #700行,修改,开启AOF持久化
#远程传输完要修改监听地址为自己
scp /opt/redis-5.0.7/redis.conf 192.168.239.20:/opt/redis-5.0.7/
scp /opt/redis-5.0.7/redis.conf 192.168.239.30:/opt/redis-5.0.7/
scp /opt/redis-5.0.7/redis.conf 192.168.239.40:/opt/redis-5.0.7/
scp /opt/redis-5.0.7/redis.conf 192.168.239.50:/opt/redis-5.0.7/
scp /opt/redis-5.0.7/redis.conf 192.168.239.60:/opt/redis-5.0.7/
修改其他节点给服务器配置文件监控地址
启动redis节点
所有节点执行
cd /opt/redis-5.0.7/
redis-server redis.conf #启动redis节点
启动集群
redis-cli --cluster create 192.168.239.20:6379 192.168.239.30:6379 192.168.239.10:6379 192.168.239.40:6379 192.168.239.50:6379 192.168.239.60:6379 --cluster-replicas 1
#六个示例分为三组,每组一主一从,前面的做主节点后面的做从节点下面交互的时候需要输入yes才可以创建 --replicas 1表示每个主节点有一个从节点
测试群集
redis-cli -h 192.168.239.10 -p 6379 -c #加-c参数,节点之间可以互相跳转
192.168.239.10:6379> cluster slots #查看节点哈希槽编号范围
1) 1) (integer) 5461
2) (integer) 10922 #哈希槽编号范围
3) 1) "192.168.239.30"
2) (integer) 6379 #主节点ip和端口
3) "093fd0ff72272a5b3c91b01fbcc106184971b818"
4) 1) "192.168.239.60"
2) (integer) 6379 #从节点ip和端口
3) "97b3832b9be3df6455f3ba34269a92ee07bd46e3"
2) 1) (integer) 0
2) (integer) 5460
3) 1) "192.168.239.20"
2) (integer) 6379
3) "03523dfb1c9efd1da17f9380e94276c171ef2041"
4) 1) "192.168.239.50"
2) (integer) 6379
3) "33bb54b95acfcb61960317f3eaaf19f74fd5cafa"
3) 1) (integer) 10923
2) (integer) 16383
3) 1) "192.168.239.10"
2) (integer) 6379
3) "a0515c00438a99c928e16bd0ec704013e74cc2e7"
4) 1) "192.168.239.40"
2) (integer) 6379
3) "efbb3e371167be32d67462e496ba538ee94fad07"