Redis| 青训营笔记

36 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 17 天

为什么需要Redis

  1. 数据从单表,演进出了分库分表。 MySOL从单机演进出了集群 数据量增长 读写数据压力的不断增加。

  2. 数据分冷热,数据:经常被访问到的数据,热数据存储到内存中

基本工作原理:

数据从内存中读写 数据保存到硬盘上防止重启数据丢失 增量数据保存到AOF文件

redis应用案例

连续签到

使用sds进行保存

消息通知

用List作为消息队列 使用场景:消息通知。 例如当文章更新时,将更新 后的文章推送到ES,用户就能搜索到最新的文章数据

List数据结构是由QuickList实现的。

计数

一个用户有多项计数需求,可通过hash 结构存储。

Hash数据结构dict rehash:rehash操作是将ht[O]中的数据 全部迁移到t[1]中。数据量小的场景下 直接将数据从ht[O]拷贝到ht[1]速度是较 快的。数据量大的场景,例如存有上百 万的KV时,迁移过程将会明显阻塞用户 请求。 渐进式rehash:为避免出现这种情况,使 用了rehash方案。基本原理就是,每次用 户访问时都会迁移少量数据。将整个迁 移过程,平摊到所有的访问用不请求过 程中

排行榜

使用跳表

限流

·要求1秒内放行的请求为N,超过N则禁止访问 Key comment_freq_limit_1671356046 对这个Key调用incr,超过限制N则禁止访问 1671356046是当前时间戳

分布式锁

并发场景,要求一次只能有一个协程执行。 执行完成后,其它等待中的协程才能执行。 可以使用redis的setnx实现, 利用了两个特性 Redis,是单线程执行命令 setnx只有未设置过才能执行成功

redis使用注意事项

大key

String类型 ,valuef的字节数大于1OKB即为大key

Hash/Set/Zset/Iist等复杂数据结构类型 元素个数大于5000个或总value字节数大于10MB即为大key

大Key的危害

读取成本高

容易导致慢查询 (过期、删除) 主从复制异常,服务阻塞 无法正常响应清求

业务侧使用大Key的表现 :请求Redis超时报错

消除大key的方法:

拆分,压缩,如果是json数据,可以考虑使用MessagePack进行序列化。

集合类消除:hash list set

(1)拆分:可以用hash取余、位掩码的方式决定放在哪个key中

(2)区分冷热:如榜单列表场景使用zset,只缓存前10页数据,后续数据走db

热key

用户访问一个Key的QPS特别高,导致Server实例出现cPU负载突增或者不均的情况。 热key没有明确的标准,QPS超过500就有可能被识别为热Key。

设置Localcache 在访问RedisT前,在业务服务侧设置Localcache,降低访问Redis的QPS。LocalCachel中缓存过期或未命中 则从Redis中将数据更新到LocalCache。Java的Guava、Golana的Biacache就是这类LocalCache

拆分:

将key:value这一个热Key复制写入多份,例如key1:value,key2:value,访问的时候访问多个key,但value是同一个 以此将qps分散到不同实例上,降低负载。代价是,更新时需要更新多个key,存在数据短暂不一致的风险

慢查询场景

容易导致redis'慢查询的操作 (1)批量操作一次性传入过多的key/value,如mset/hmset,/sadd/zadd等O(n)操作 建议单批次不要超过100,超过100之后性能下降明显. 东新宇669 (2)zset大部分命令都是0log(n),当大小超过5k以上时,简单的zadd/zrem也可能导致慢查询 (3)操作的单个value过大,超过1OKB。也即,避免使用大Key (4)对大key的delete/expire操作也可能导致慢查询,Redis44.O之前不支持异步删除unlink,大key删除会阻塞Redis

3.缓存穿透、缓存雪崩 缓存穿透:热点数据查询绕过缓存,直接查询数据库 缓存雪崩:大量缓存同时过期 缓存穿透的危害 (1)查询一个一定不存在的数据 通常不会缓存不存在的数据,这类查询请求都会直接打到db,如果有系统bug或人为攻击 那么容易导致db响应慢甚至宕机 (2)缓存过期时 在高并发场景下,一个热key如果过期,会有大量请求同时击穿至db,,容易影响db性能和稳定 同一时间有大量key集中过期时,也会导致大量请求落到db上,导致查询变慢,甚至出现db无法响应新的查询

(1)缓存空值 如一个不存在的usrD。这个id在缓存和数据库中都不存在。则可以缓存一个空值,下次再查缓存直接反空值 (2)布隆过滤器 通过bloom filter?算法来存储合法ey,得益于该算法超高的压缩率,只需占用极小的空间就能存储大量key值