一,设计Key结构
Redis的key虽然可以自定义,但是最好遵循以下几个最佳实践约定:
- 遵循基本格式:
[业务名]:[数据名]:[id] - value长度不超过44字节
- 不包含特殊字符
例如:登录业务,保存用户信息,key为:login:user:10
优点:
- 可读性强
- 避免key冲突
- 方便管理
- 更节省内存空间,key是string类型,底层编码包含int,embstr和raw三种,embstr是key小于44字节使用,他采用连续内存空间,内存占用更小。
二,BigKey问题
2.1 什么是BigKey
BigKye通常以Key的大小和Key中成员的数量来判定,例如:
- Key本身的数据量过大:一个String类型的Key他的值为5MB
- Key中的成员数过多:一个ZSET类型的Key,他的成员数量为10000个。
- Key中成员的数据量过大:一个Hash类型的Key,他的成员数量虽然只有1000个,但这些成员的Value值总大小为100MB
推荐值:
- 单个Key的value小于10KB
- 对于集合类型的key,建议元素数量小于1000
查看元素大小:
memory usage keyName
# 返回元素字节数
2.2 BigKey的危害
网络阻塞:对BigKey执行读请求,少量的QPS就可能导致宽带使用率被占满,导致Redis实例,乃至所在物理机变慢。
数据倾斜:BigKey所在的Redis实例内存使用率远超其他实例,无法使数据分片的内存资源达到均衡。
Redis阻塞:对元素较多的hash,list,zset等做运算会耗时较久,使主线程被阻塞。
CPU压力:对BigKey的数据序列化和反序列化会导致cpu的使用率飙升,影响Redis实例和本机其他应用。
2.3 如何发现BigKey
-
redis-cli --bigkeys利用redis-cli提供的--bigkyes参数,可以遍历分析所有的key,并返回Key的整体统计信息与每个数据的Top1的big key
-
scan扫描自己编程,利用sacn扫描redis中所有key,利用strlen,hlen等命令判断key的长度(不建议使用memory usage)
scan cursor [Match pattern] [Count count] [Type type] -
第三方工具
利用第三方工具,例如,
Redis-Rdn-Tools分析RDB快照文件,全面分析内存使用情况。 -
网络监控
自定义工具,监控进出Redis的网络数据,超出预警值时主动告警。
2.4 如何删除BigKey
BigKey内存占用较多,即使删除这样的key也需要耗费很长时间,导致Redis主线程阻塞,引发问题。
-
redis3.0及以下版本
如果是集合类型的,则遍历BigKye的元素,先逐个删除子元素,最后删除BigKey
-
redis4.0以后
Redis4.0后提供了异步删除的命令:
unlink