这是我参与「第五届青训营」伴学笔记创作活动的第 16 天
为什么需要Redis
数据从单表，演进出了分库分表
MySQL从单机演进出了集群
数据量增加，读写数据压力的不断增加
数据分冷热，将热数据存储到内存中，如果不存在的话就到MySQL中去取，然后写入到Redis中
基本工作原理
数据从内存读写
数据保存到硬盘上防止重启数据丢失
增量数据保存到AOF文件 全量数据RDB文件
单线程处理所有操作命令(也就是排序处理的)
实际应用案例 1.连续签到 可以用存储字符串、数字、二进制数据 通常和expire配合使用 场景：存储技术、Session
2.消息通知
例如当文章更新时，将更新后的文章推送到ES，用户就能搜索到最新的文章数据
list，链表，监听器，有数据，读取文章的标题，正文，然后推送到ES
List数据结构Quicklist
Quicklist由一个双向链表和listpack实现
3.计数
一个用户有多项计数需求，可通过hash结构存储
pipe：可以一次性将他发送到到radis服务端
HGetAll，全部取出来
HIncrBy增加
rehash
原因hash table要扩容，然后需要响应用户的请求，一部分一部分进行拷贝过程，平摊到用户的访问过程中
4.排行榜
积分变化时，排名要实时变更
结合dict后，可实现通过key操作跳表的功能
zset数据结构zskiplist
radis最高的层数是4层
5.限流
要求1秒内放行的请求为N，超过N则禁止访问
Key: comment_freq_limit_1671356046对这个Key调用incr，超过限制N则禁止访问1671356046 是当前时间戳
6.分布式锁
并发场景，要求一次只能有一个协程执行，执行完成后，其他等待中的协程才能执行。
可以使用redis的setnx实现，利用了两个特性
①Redis是单线程执行命令
②setnx只有未设置过才能执行成功
SetNX不是高可用的分布式锁实现
(1)业务超时解锁，导致并发问题。业务执行时间超过锁超时时间。
(2) redis主备切换临界点问题。主备切换后，A持有的锁还未同步到新的主节点时，B可在新主节点获取锁，导致并发问题。
(3) redis集群脑裂，导致出现多个主节点。
大Key、热Key
大Key的危害：
①读取成本高
②容易导致慢查询（过期、删除）
③主从复制异常，服务阻塞 无法正常响应请求
业务侧使用大Key的表现：请求Redis超时报错
消除方法：
1.拆分
将大key拆分为小key。例如一个String拆分成多个String
2.压缩
将value压缩后写入redis，读取时解压后再使用。压缩算法可以是gzip、snappy、 lz4等。通常情况下一个压缩算法压缩率高、则解压耗时就长。需要对实际数据进行测试后，选择一个合适的算法。如果存储的是JSON字符串，可以考虑使用MessagePack进行序列化。
3.集合类结构hash、list、set、set3
(1)拆分:可以用hash取余、位掩码的方式决定放在哪个key中
(2)区分冷热:如榜单列表场景使用zset，只缓存前10页数据，后续数据走db
热Ket的定义：
用户访问一个Key的QPS特别高，导致Server实例出现CPU负载突增或者不均的情况热key没有明确的标准，QPS 超过500就有可能被识别为热Key
解决热Key的方法
1.设置Localcache
在访问Redis前，在业务服务侧设置Localcache，降低访问Redis的QPS。LocalCache中缓存过期或未命中则从Redis中将数据更新到LocalCache。Java的Guava、Golang的Bigcache就是这类LocalCache
2.拆分
将key:value这一个热Key复制写入多份，例如key1:value,key2:value，访问的时候访问多个key，但value是同一个以此将qps分散到不同实例上，降低负载。代价是，更新时需要更新多个key，存在数据短暂不一致的风险
（2）使用Redis代理的热Key承载能力 字节跳动的Redis访问代理就具备热Key承载能力。本质上是结合了“热Key发现”、“LocalCache"两个功能
慢查询场景
缓存穿透、缓存雪崩
缓存穿透：热点数据查询绕过缓存，直接查询数据库
缓存穿透的危害：
(1) 查询一个一定不存在的数据通常不会缓存不存在的数据，这类查询请求都会直接打到db，如果有系统bug或人为攻击那么容易导致db响应慢甚至宕机
(2) 缓存过期时
在高并发场景下，一个热key如果过期，会有大量请求同时击穿至db，容易影响db性能和稳定。同一时间有大量key集中过期时，也会导致大量请求落到db上，导致查询变慢，甚至出现db无法响应新的查询
如何减少缓存穿透：
(1) 缓存空值
如一个不存在的userID。这个id在缓存和数据库中都不存在。则可以缓存一个空值，下次再查缓存直接反空值.
(2) 布隆过滤器
通过bloom filter算法来存储合法Key，得益于该算法超高的压缩率，只需占用极小的空间就能存储大量key值
缓存雪崩：大量缓存同时过期
如何避免缓存雪崩
(1) 缓存空值
将缓存失效时间分散开，比如在原有的失效时间基础上增加一个随机值，例如不同Key过期时间，可以设置为 10分1秒过期，10分23秒过期，10分8秒过期。单位秒部分就是随机时间，这样过期时间就分散了对于热点数据，过期时间尽量设置得长一些，冷门的数据可以相对设置过期时间短一些。
(2) 使用缓存集群，避免单机宕机造成的缓存雪崩。
