前言
大数据时代 NoSQL 开始大行其道,其中常用于缓存的 Redis 可谓风头正盛,是大小公司技术架构中必不可少的一种中间件,也是职场技术同仁们必知必会的一种技术。本篇小编将从各个方面对 Redis 进行全面的讲解并分析常见问题,小编这里整理了一份Redis核心技术点集合的思维导图,需要领取的小伙伴可以关注公众号:麒麟改bug。
Redis 的应用场景
Redis 有着广泛的应用场景。典型应用是:内容缓存,主要用于处理大量数据的高访问负载,优点就是快速查询。
- 缓存,缓存现在几乎是所有中大型网站都在用的必杀技,合理的利用缓存不仅能够提升网站访问速度,还能大大降低数据库的压力。Redis 提供了键过期功能,也提供了灵活的键淘汰策略,所以,现在 Redis 用在缓存的场合非常多。
- 排行榜,很多网站都有排行榜应用的,如京东的月度销量榜单、商品按时间的上新排行榜等。Redis 提供的有序集合数据类构能实现各种复杂的排行榜应用。
- 计数器,什么是计数器,如电商网站商品的浏览量、视频网站视频的播放数等。为了保证数据实时效,每次浏览都需+1,并发量高时如果每次都请求数据库操作无疑是种挑战和压力。Redis 提供的 incr 命令来实现计数器功能,内存操作,性能非常好,非常适用于这些计数场景。
- 分布式会话,集群模式下,在应用不多的情况下一般使用容器自带的 session 复制功能就能满足,当应用增多相对复杂的系统中,一般都会搭建以 Redis 等内存数据库为中心的 session 服务,session 不再由容器管理,而是由 session 服务及内存数据库管理。
- 分布式锁,很多互联网公司中都使用了分布式技术,分布式技术带来的技术挑战是对同一个资源的并发访问,如全局 ID、减库存、秒杀等场景,并发量不大的场景可以使用数据库的悲观锁、乐观锁来实现,但在并发量高的场合中,利用数据库锁来控制资源的并发访问是不太理想的,大大影响了数据库的性能。
- 社交网络,点赞、踩、关注/被关注、共同好友等是社交网站的基本功能,社交网站的访问量通常来说比较大,而且传统的关系数据库类型不适合存储这种类型的数据,Redis 提供的哈希、集合等数据结构能很方便的的实现这些功能。
- 最新列表,Redis 列表结构,LPUSH 可以在列表头部插入一个内容 ID 作为关键字,LTRIM 可用来限制列表的数量,这样列表永远为 N 个 ID,无需查询最新的列表,直接根据 ID 去到对应的内容页即可。
- 消息系统,消息队列是大型网站必用中间件,如 ActiveMQ、RabbitMQ、Kafka 等流行的消息队列中间件,主要用于业务解耦、流量削峰及异步处理实时性低的业务。Redis 提供了发布/订阅及阻塞队列功能,能实现一个简单的消息队列系统。 这些场景都是当下大型电商网站和社交网站需要的。所以 Reids 火也不奇怪,其它的 NoSQL 数据库的应用场景都比较窄,类似文档存储和图片存储等,都在特定应用场景下使用。
五种常用数据对象及应用场景
Redis缓存架构必备的十个知识点-学习笔记分享(一)
Redis 是高性能键值对数据库,支持的键值数据类型:字符串类型 、哈希类型、列表类型 、集合类型、有序集合类型 , 这些类型的操作方式和结构需要详细了解。
字符串类型
字符串的操作命令有很多,常用的操作命令有如下几种,涉及到:设置及获取值,获取并修改值,自增值,自减值,追加字符串等操作:
-
set key value:设置指定 key 的值。
-
get key:获取指定 key 的值。
-
getset key value:将给定 key 的值设为 value ,并返回 key 的旧值(old value)。
-
incr key:将 key 中储存的数字值增一。
-
incr key increment:将 key 所储存的值加上给定的增量值(increment)
-
decr key :将 key 中储存的数字值减一。
-
decr key decrement:key 所储存的值减去给定的减量值(decrement) 。
-
append key value:如果 key 已经存在并且是一个字符串, APPEND 命令将指定的 value 追加到该 key 原来值(value)的末尾。
-
del key:删除该 key。 需要注意的是,操作状态返回的 0 和 1 要和返回结果做区分,并且 set 操作其实是有则更新,无则新增。常用场景如下:
-
场景一:利用数值操作特性 Incr 指令为分布式数据库主键自增,例如数据库做分库分表后仍然希望所有数据能保持主键单调递增。
-
场景二:利用 key 的生命周期做投票系统,在投票的场景中,我们经常会有一天可投几次票这样的限制,那么这个就需要一个过期时间,例如每天最多可以投 5 张票,可以把用户 id 作为 key,当 value 大于 5 时不允许继续投,24 小时后 key 销毁,重新设置。
-
场景三:利用数值操作特性 Incr 指令刷新热点数据,例如分别设置微博大 V 的粉丝数、点赞数为 key,然后刷新数量。
-
以上就是字符串类型的介绍。String 的场景利用了 String 的Incr 指令、过期 Key 的特性
哈希类型
Hash 是一个 String 类型的 Field 和 Value 的映射表,Hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 2^32 - 1 个键值对(40 多亿),常用操作如下
- hset key field value:将哈希表 key 中的字段 field 的值设为 value 。
- hget key field:获取存储在哈希表中指定字段的值。
- hmset key field1 value1 field2 value2 ...:同时将多个 field-value (域-值)对设置到哈希表 key 中。时间复杂度为 O(n)
- hmget key field1 field2...:获取所有给定字段的值。时间复杂度为 O(n)
- hgetall key:获取在哈希表中指定 key 的所有字段和值 。时间复杂度为 O(n)
- hdel key field1 field2... :删除一个或多个哈希表字段。返回值为 0 则表示删除的属性不存在
- del key:删除该 key,也就是删除该哈希。
还有一些自增及判断的命令:
- hincrby key field increment:为哈希表 key 中的指定字段的整数值加上增量 increment 。
- hlen key:获取哈希表中字段的数量
- hvals key:同时将多个 field-value (域-值)对设置到哈希表 key 中。时间复杂度为 O(n)
- hexists key field:查看哈希表 key 中,指定的字段是否存在。时间复杂度为 O(n)
由于 Hash 的这些特性,常有如下的应用场景:
- 场景一:利用 hash 的对象存储特性设置用户的购物车,一个人的购物车可以看做一个对象,而商品可以当做 field,数量可以当做 value,然后对购物车进行各种操作。
- 场景二 :利用 hash 作为商品秒杀计数对象完成商品秒杀系统,一个商品秒杀系统可以看作一个对象,而秒杀的商品可以当作 field,数量可以当作 value,设置 value 为该商品的余量,然后使用 hincrby 来进行秒杀业务,降低数量。
和 String 类型相比,Hash 更适合数据的呈现,而不适合数据的更新,具体为什么,可以在下一小节其底层结构上一窥究竟。Hash 的场景利用了 Hash 的结构特性存储对象信息
列表类型
List 的核心特点是顺序性,其底层主要实现为一个双向链表,为什么说主要,因为本节提到的各种数据对象底层都有不止一种实现方式。简单常用的一些相关相关命令:
- lpush key value1 [value2]:将一个或多个值插入到列表头部,从左侧添加,最后添加的在最左边
- lrange key start stop:获取列表指定范围内的元素, 假如共有 6 个元素,[0,-2]表示从列表头到倒数第二个,[0,-1]和[0,5]效果一样。
- rpush key value1 [value2]:将一个或多个值插入到列表尾部,从右侧添加,最后添加的在最右边
- lpop key:移出并获取列表的第一个元素,弹出列表头
- rpop key:移除列表的最后一个元素,返回值为移除的元素。
- llen key:获取列表长度。
- lpushx key value:将一个值插入到已存在的列表头部,仅队列存在时有效。当队列不存在时,不进行任何操作。
- rpushx key value:将一个值插入到已存在的列表尾部,仅队列存在时有效。当队列不存在时,不进行任何操作。
当然还有些相对复杂的命令:
- lrem key count value:移除 count 个为 value 的元素,如果 count 大于 0,则从左向右数,如果 count 小于 0,从右向左数,如果 count 等于 0,删除全部为 value 的元素。
- lset key index value:通过索引设置列表元素的值,列表头的索引是 0.
- linsert key before|after pivot value:在列表的元素前或者后插入元素
列表有如下的一些应用场景:
- 场景一:利用 blpop 特性实现任务队列,轮询从任务队列里取数据【可以同时从多个队列获取】,如果取到数据就返回,如果没有数据就等待设置时间持续获取,直到数据过期
- 场景二:利用 list 顺序特性实现朋友圈点赞,因为点赞等信息都是有顺序性的,而且修改的效率高,适合使用 list 来操作,点赞用rpush,取消点赞用lrem
- 场景三:利用 list 顺序特性进行分布式日志顺序性展示,使用 list 顺序性实现多路数据汇总展示,利用其栈的特性实现最新的消息最先展示,即组合使用 rpush 和 rpop
在 List 的场景下,主要利用了 List 的顺序性、队列和栈的双重特性
集合类型
- Set 是 String 类型的无序集合。集合成员是唯一的,这就意味着集合中不能出现重复的数据。集合中最大的成员数为 2^32 - 1 (40 多亿个成员),常用操作如下:
- sadd key member1 [member2]:向集合添加一个或多个成员
- srem key member1 [member2]:移除集合中一个或多个成员
- smembers key:返回集合中的所有成员
- sismember key member:判断 member 元素是否是集合 key 的成员
- scard key:获取集合的成员数
- srandmember key [count]:返回集合中一个或多个随机数
- spop key:移除并返回集合中的一个随机元素
- set 集合之间的操作通过如下命令实现:
- sdiff key1 [key2]:返回给定所有集合的差集,两个集合的第一个不同数字。
- sdiffstore destination key1 [key2]:返回给定所有集合的差集并存储在 destination 中
- sinter key1 [key2]:返回给定所有集合的交集
- sinterstore destination key1 [key2]:返回给定所有集合的交集并存储在 destination 中
- sunion key1 [key2]:返回所有给定集合的并集
- sunionstore destination key1 [key2]:返回所有给定集合的并集存储在 destination 集合中
- smove source destination member:将 member 元素从 source 集合移动到 destination 集合
set 的主要特性是不重复性,我们看基于这样的特性,常用的有哪些场景呢?
- 场景一:利用 set 特性随机获取不重复数据实现简单推荐系统,系统汇集好读者的所有爱好标签后,使用srandmember 指令实现随机推送三个用户喜欢的标签数据
- 场景二:利用 set 交并差实现推荐系统池,例如获取中老年群体用户中共同的爱好,可以用sinter来实现,获取我在中国地质大学中的一度人脉、二度人脉等可以使用sunion来实现,获取我喜欢但是我妈不喜欢的电视节目,可以用sdiff来实现。
- 场景三:利用 set 不重复特征获取所有业务系统权限,我们想要获取所有用户的所有权限,取出其中补充五的业务系统权限该怎么做?我们可以设置用户为一个 set 集合,他的权限为 value,然后用sinter合并所有用户就可以拿到所有不重复权限
- 场景四:利用 set 不重复特征获取 UV 和 IP 数据,UV 即网站被不同用户访问的次数,相同用户切换 IP 地址,UV 不变,使用 set 存储用户 cookie 信息,统计 UV 量。IP 即网站被不同 IP 的访问次数,相同 IP 访问,不同用户访问,IP 不变。使用 set 存储 IP 信息,统计 IP 量。
- 场景五:利用 set 不重复特征实现黑白名单,可以在黑名单中添加 IP 或设备或用户,通过不重复特性,设置唯一的黑名单
Set 的场景主要利用了 set 的不重复特性、随机取值特性和并交差集的特性
有序集合类型
- Zset 和集合一样也是 string 类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个 double 类型的分数。Redis 正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复,常用操作如下:
- zadd key score1 member1 [score2 member2]:向有序集合添加一个或多个成员,或者更新已存在成员的分数
- zscore key member:返回有序集中,成员的分数值
- zcard key:获取有序集合的成员数
- zrem key member [member ...]:移除有序集合中的一个或多个成员
- zrange key start stop [withscores]:通过索引区间返回有序集合成指定区间内的成员,如果需要同时返回 scores ,带上后边那段,默认分数从低到高
- zrevrange key start stop [withscores]:返回索引区间集中指定区间内的成员,分数从高到底
- zrangebyscore key min max [withscores] [limit]:通过分数区间返回有序集合指定区间内的成员,默认分数从低到高
- zremrangebyrank key start stop:移除有序集合中给定的排名区间的所有成员
- zremrangebyscore key min max:移除有序集合中给定的分数区间的所有成员
- zincrby key increment member:有序集合中对指定成员的分数加上增量 increment
- zcount key min max:计算在有序集合中指定区间分数的成员数
Zset 最经典的应用场景就是进行排行榜设置了。当然除此之外还有些带权重的操作都类似:
- 场景一:利用 set 不重复排序特征实现计数器组合排序排行榜功能,为所有参与排名的资源进行排序
- 场景二:利用 set 不重复排序特征实现基于时效性任务提醒,队列中全部为 vip,按照会员时间长短排序,短时间到期后提醒下一个快到期的任务。
- 场景三:利用 set 不重复排序特征实现带权重任务队列,仅是任务队列可以通过队列,但是如果队列中的任务有优先级,则需要使用带权重的。
ZSet 的场景主要利用了 set 的不重复特性和分数排序特性
小编分享的内容到这里就结束了!
小编这边整理了一些Java核心技术知识点集锦200多页资料集锦;Redis分布式锁的面试真题70道,关注公众号:麒麟改bug。编程的世界永远向所有热爱编程的人开放,这是一个自由,平等,共享的世界,我始终是这样坚信的。