Redis是一种基于 键值对 的NoSQL数据库。与很多键值对数据库不同,Redis提供了丰富的 值数据存储结构,包括string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、bitmap(位图)等等。
正文
Redis是一个使用ANSI C编写的开源、支持 网络、基于 内存、单线程模型、可选持久性 的 键值对存储数据库。1. Redis的特性
速度快,最快可达到
10w QPS(基于 内存,C语言,单线程 架构);基于 键值对 (
key/value) 的数据结构服务器。全称Remote Dictionary Server。包括string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、bitmap(位图)。同时在 字符串 的基础上演变出 位图(BitMaps)和HyperLogLog两种数据结构。3.2版本中加入GEO(地理信息位置)。丰富的功能。例如:键过期(缓存),发布订阅(消息队列),
Lua脚本(自己实现Redis命令),事务,流水线(Pipeline,用于减少网络开销)。简单稳定。无外部库依赖,单线程模型。
客户端语言多。
持久化(支持两种 持久化 方式
RDB和AOF)。主从复制(分布式的基础)。
高可用(
Redis Sentinel),分布式(Redis Cluster)和 水平扩容。2. Redis的应用场景
2.1. 缓存
合理的使用 缓存 能够明显加快访问的速度,同时降低数据源的压力。这也是
Redis最常用的功能。Redis提供了 键值过期时间(EXPIRE key seconds)设置,并且也提供了灵活控制 最大内存 和 内存溢出 后的 淘汰策略。2.2. 排行榜
每个网站都有自己的排行榜,例如按照 热度排名 的排行榜,发布时间 的排行榜,答题排行榜 等等。
Redis提供了 列表(list)和 有序集合(zset)数据结构,合理的使用这些数据结构,可以很方便的构建各种排行榜系统。2.3. 计数器
计数器 在网站应用中非常重要。例如:点赞数加
1,浏览数 加1。还有常用的 限流操作,限制每个用户每秒 访问系统的次数 等等。Redis支持 计数功能(INCR key),而且计数的 性能 也非常好,计数的同时也可以设置 超时时间,这样就可以 实现限流。2.4. 社交网络
赞/踩,粉丝,共同好友/喜好,推送,下拉刷新等是社交网站必备的功能。由于社交网站 访问量通常比较大,而且 传统的数据库 不太适合保存这类数据,
Redis提供的 数据结构 可以相对比较容易实现这些功能。2.5. 消息队列
Redis提供的 发布订阅(PUB/SUB)和 阻塞队列 的功能,虽然和专业的消息队列比,还 不够强大,但对于一般的消息队列功能基本满足。3. Redis的安装配置
下面介绍一下
Redis的安装流程。我会按照如下的顺序,逐步搭建出 高可用 的Redis缓存服务器集群。
Redis单机服务器 搭建Redis主从复制 搭建Redis-Sentinel高可用 搭建3.1. Redis单机服务器安装
3.1.1. 下载并解压
首先从
Redis官网下载Redis源代码并解压,这里使用的是 最新稳定版本4.0.11。依次执行如下命令:cd /usr/local/ wget http://download.redis.io/releases/redis-4.0.11.tar.gz tar -zxvf redis-4.0.2.tar.gz3.1.2. 编译并安装
下载并解压完毕后,则对 源码包 进行 编译安装,这里
Redis安装路径为/usr/local/redis。注意:
make install PREFIX=目标安装路径cd /usr/local/redis-4.0.11 make install PREFIX=/usr/local/redis安装完成时,
/usr/local/redis/bin目录下会生成的几个可执行的文件。可执行文件
作用
redis-server
启动 redis 服务
redis-cli redis
命令行客户端
redis-benchmark
redis 基准测试工具
redis-check-aof
redis AOF 持久化文件检测和修复工具
redis-check-dump
redis RDB 持久化文件检测和修复工具
redis-sentinel
启动 redis sentinel
复制
Redis相关命令到/usr/local/bin目录下,这样就可以直接执行这些命令,不用写全路径。$ cd /usr/local/redis/bin/ $ sudo sudo cp redis-cli redis-server redis-sentinel /usr/local/bin3.1.3. 修改Redis配置文件
安装完成之后将
Redis配置文件拷贝到/usr/local下,redis.conf是Redis的配置文件,redis.conf在Redis源码目录,port默认是6379。$ sudo cp /usr/local/redis-4.0.11/redis.conf /usr/local/
Redis配置文件主要参数解析参考:# redis进程是否以守护进程的方式运行,yes为是,no为否(不以守护进程的方式运行会占用一个终端)。 daemonize no # 指定redis进程的PID文件存放位置 pidfile /var/run/redis.pid # redis进程的端口号 port 6379 # 绑定的主机地址 bind 127.0.0.1 # 客户端闲置多长时间后关闭连接,默认此参数为0即关闭此功能 timeout 300 # redis日志级别,可用的级别有debug.verbose.notice.warning loglevel verbose # log文件输出位置,如果进程以守护进程的方式运行,此处又将输出文件设置为stdout的话,就会将日志信息输出到/dev/null里面去了 logfile stdout # 设置数据库的数量,默认为0可以使用select <dbid>命令在连接上指定数据库id databases 16 # 指定在多少时间内刷新次数达到多少的时候会将数据同步到数据文件 save <seconds> <changes> # 指定存储至本地数据库时是否压缩文件,默认为yes即启用存储 rdbcompression yes # 指定本地数据库文件名 dbfilename dump.db # 指定本地数据问就按存放位置 dir ./ # 指定当本机为slave服务时,设置master服务的IP地址及端口,在redis启动的时候他会自动跟master进行数据同步 slaveof <masterip> <masterport> # 当master设置了密码保护时,slave服务连接master的密码 masterauth <master-password> # 设置redis连接密码,如果配置了连接密码,客户端在连接redis是需要通过AUTH<password>命令提供密码,默认关闭 requirepass footbared # 设置同一时间最大客户连接数,默认无限制。redis可以同时连接的客户端数为redis程序可以打开的最大文件描述符,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回 max number of clients reached 错误信息 maxclients 128 # 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key。当此方法处理后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区 maxmemory<bytes> # 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no。 appendonly no # 指定跟新日志文件名默认为appendonly.aof appendfilename appendonly.aof # 指定更新日志的条件,有三个可选参数 - no:表示等操作系统进行数据缓存同步到磁盘(快),always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全), everysec:表示每秒同步一次(折衷,默认值); appendfsync everysec
- 设置后台启动
由于
Redis默认是 前台启动,不建议使用。修改Redis配置文件,把daemonize no改为daemonize yes。daemonize yes
- 设置远程访问
Redis默认只允许 本机访问,把bind修改为bind 0.0.0.0此设置会变成 允许所有远程访问。如果想指定限制访问,可设置对应的IP。bind 0.0.0.0
- 配置
Redis日志记录找到
logfile配置,默认是:logfile "",改为自定义日志文件路径。logfile /var/log/redis_6379.log
- 设置
Redis请求密码把
requirepass修改为123456,修改之后重启下服务requirepass "123456"有了密码之后,进入客户端,就得这样访问:
3.1.4. Redis
$ redis-cli -h 127.0.0.1 -p 6379 -a 123456的常用命令
启动命令
$ redis-server /usr/local/redis.conf
关闭命令
$ redis-cli -h 127.0.0.1 -p 6379 shutdown
查看是否启动
$ ps -ef | grep redis
进入客户端
$ redis-cli
关闭客户端
$ redis-cli shutdown
注意:不建议使用
kill -9,这种方式不但不会做持久化操作,还会造成缓冲区等资源不能优雅关闭。极端情况下造成AOF和 复制丢失数据 的情况。shutdown还有一个参数,代表是否在关闭redis前,生成 持久化文件,命令为redis-cli shutdown nosave|save。
设置为开机自动启动
$ echo "redis-server /usr/local/redis.conf" >> /etc/rc.local
开放防火墙端口
添加规则
iptables -I INPUT -p tcp -m tcp --dport 6379 -j ACCEPT
保存规则
service iptables save
重启iptables
service iptables restart
3.1.5. 注册Redis为系统服务
在
/etc/init.d目录下添加Redis服务的 启动,暂停 和 重启 脚本:$ sudo /etc/init.d/redis脚本的内容如下:
#!/bin/sh # # redis - this script starts and stops the redis-server daemon # # chkconfig: - 85 15 # description: Redis is a persistent key-value database # processname: redis-server # config: /usr/local/redis/bin/redis-server # config: /etc/redis.conf # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 redis="/usr/local/redis/bin/redis-server" prog=$(basename $redis) REDIS_CONF_FILE="/etc/redis.conf" [ -f /etc/sysconfig/redis ] && . /etc/sysconfig/redis lockfile=/var/lock/subsys/redis start() { [ -x $redis ] || exit 5 [ -f $REDIS_CONF_FILE ] || exit 6 echo -n $"Starting $prog: " daemon $redis $REDIS_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { stop start } reload() { echo -n $"Reloading $prog: " killproc $redis -HUP RETVAL=$? echo } force_reload() { restart } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|orce-reload}" exit 2 esac赋予脚本文件可执行权限:
$ chmod 755 /etc/init.d/redis启动、停止和重启
redis服务:service redis start service redis stop service redis restart3.2. Redis主从复制集群安装
3.2.1. Redis-Server配置说明
角色
IP地址
端口号
Redis Master
10.206.20.231
16379
Redis Slave
10.206.20.231
26379
3.2.2. Redis主从架构配置
编辑 从机 的
Redis配置文件,找到210行(大概)-#slaveof <masterip> <masterport>。去掉该注释,填写 主服务器 的IP和 端口。slaveof 10.206.20.231 16379
如果 主服务器 设置了密码,还需要找到
masterauth <master-password>这一行,去掉注释,改为masterauth的主机密码。masterauth 123456
配置完成后重启 从服务器 的
Redis服务。$ service redis restart
重启完成之后,进入 主服务器 的
redis-cli模式下,命令为redis-cli -h 127.0.0.1 -p 16379 -a 123456。输入INFO replication查询到 当前主机 的Redis的状态,连接上 主服务器 的 从服务器。
Redis主服务器 的配置文件:
redis.conf
daemonize yes pidfile /var/run/redis-16379.pid logfile /var/log/redis/redis-16379.log port 16379 bind 0.0.0.0 timeout 300 databases 16 dbfilename dump-16379.db dir ./redis-workdir masterauth 123456 requirepass 123456
Redis从服务器 的配置文件:
redis.conf
daemonize yes pidfile /var/run/redis-26379.pid logfile /var/log/redis/redis-26379.log port 26379 bind 0.0.0.0 timeout 300 databases 16 dbfilename dump-26379.db dir ./redis-workdir masterauth 123456 requirepass 123456 slaveof 127.0.0.1 16379
Redis主服务器 的状态如下:# Replication role:master connected_slaves:1 slave0:ip=10.206.20.231,port=16379,state=online,offset=28,lag=1 master_replid:625ae9f362643da5337835beaeabfdca426198c7 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:28 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:28
Redis从服务器 的状态如下:# Replication role:slave master_host:10.206.20.231 master_port:26379 master_link_status:up master_last_io_seconds_ago:3 master_sync_in_progress:0 slave_repl_offset:210 slave_priority:100 slave_read_only:1 connected_slaves:0 master_replid:625ae9f362643da5337835beaeabfdca426198c7 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:210 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:2103.2.3. Redis主从配置验证
上面完成了基本的 主从配置,可以简单的测试一下效果:
进入 主服务器 的
redis-cli模式,然后set一个值,比如:set master_port "16379" OK
切换进入 从服务器 的
redis-cli的模式,查询刚刚设置的值看是否存在:get master_port "16379"
此时,我们可以发现是可以获取到值的,
Redis的 主从模式 正常工作。Buy me a cup of coffee :)