redis|青训笔记

这是我参与「第五届青训营」伴学笔记创作活动的第 17 天

为什么需要Redis

redis 是数据库因为访问量过大而导致系统瘫痪时有程序员想出的缓存策略，本质就是一块存储键值对的内存空间，有丰富的经验来决策如何处理某个键值对，能够在大流量的情况下帮数据库抗住压力。

数据从单表，演进除了分库分表
MySQL从单击演进除了集群
- 数据量增长
- 读写数据压力的不断增加
数据分冷热。热数据指经常被访问到的数据。可以将热数据，就是高频读的数据存储到内存中
数据从内存中读写
数据保存到硬盘上防止重启数据丢失
单线程处理所有操作命令

redis应用案例

连续签到

用户每日有一次签到的机会，如果断签，连续签到计数将归0。

key: cc_uid_xxxxxxxxx
value: 252
expireAt: 后天的0点

string数据结构：sds

可以存储字符串、数字、二进制数据
通常和expire配合使用
场景：存储计数、Session

消息通知

用list作为消息队列。使用场景：消息通知。例如当文章更新时，将更新后的文章推送到ES，用户就能搜索到最新的文章数据。

List数据结构：Quicklist。Quicklist由一个双向链表和listpack实现。

个人主页计数

一个用户有多项计数需求，可通过hash结构存储。

hash数据结构：dict

rehash：rehash操作是将ht[0]中的数据全部迁移到h[1]中。数据量小的场景下，直接将数据从ht[0]拷贝到h[1]速度是较快的。数据量大的场景，例如存有上百万的KV时，迁移过程将会明显阻塞用户请求。
渐进式rehash：为避免出现这种情况，使用了rehash方案。基本原理就是，每次用户访问时都会迁移少量数据。把整个迁移过程，平摊到所有的访问用不请求过程中。

限流

要求1秒被放行的请求为N，超过N则禁止访问。

key: comment_freq_limit_xxxx。

对这个key调用incr，超过限制N则禁止访问。xxxx是当前时间戳。

分布式锁

并发场景，要求一次只能有一个协程执行。执行完成后，其他等待中的协程才能执行。

可以使用redis的setnx实现，利用了两个特性

redis是单线程执行命令
setnx只有未设置过才能执行成功

大Key热Key注意事项

数据类型	大Key标准
string类型	value的字节数大于10KB即为大key
hash/set/zset/list等复杂数据结构类型	元素个数大于5000个或总value字节数大于10MB即为大key

危害

读取成本高
容易导致慢查询（过期、删除）
主从复制异常，服务阻塞无法正常相应请求
业务侧使用大Key的表现为请求redis超时报错

消除大Key的方法

拆分。将大key拆分为小key。例如一个String拆分为多个String
压缩。将value压缩后写入redis，读取时解压后在使用。如果存储的是JSON字符串，可以考虑使用MessagePack进行序列化。

解决热key的方法

设置Localcache。在访问Redis之前，在业务服务侧设置Localcache，降低访问Redis的QPS。LocalCache中缓存过期或未命中，则从Redis中奖数据更新到LocalCache。
拆分。将key:value这一个热key复制写入多份，例如key1:value,key2:value，访问的时候访问多个key，但value是同一个。以此将qps分散到不同势力上，降低负载。代价是，更新时需要更新多个key，存在数据短暂不一致的风险

慢查询场景

容易导致redis慢查询的操作

批量操作一次性传入过多的key/value。建议单批次不要超过100，超过100之后性能下降明显。
zset大部分命令都是logn的时间复杂度，当大小超过5k以上时，简单的zadd/zrem也可能导致慢查询
操作的单个value过大，超过10kb，也就是避免使用大key
对大key的delete/expire操作也可能导致慢查询。redis4.0之前不支持异步删除unlink，大key删除会堵塞Redis。

缓存穿透

缓存穿透指热点数据查询绕过缓存，直接查询数据库。

危害：

查询一个一定不存在的数据。通常不会缓存不存在的数据，这类查询请求都会直接打到db，如果有系统bug或人为攻击，那么容易导致db响应慢甚至宕机。
缓存过期。在高并发场景下，一个热key如果过期，会有大量请求同时击穿至db，容易影响db性能和稳定。同一时间有大量key集中过期时，也会导致大量请求落到db上，导致查询变慢，甚至出现db无法相应新的查询

解决方法：

缓存空值。
- 入一个不存在的userID，这个id在缓存和数据库中都不存在。则可以缓存一个空值，下次在查缓存直接反空值。
布隆过滤器
- 通过bloom filter算法来存储合法key，得益于该算法超高的压缩率，只需占用极小的空间就能存储大量key值

缓存雪崩

缓存雪崩：大量缓存同时过期