redis 技术分享

143 阅读8分钟

1、是什么

Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

2、应用场景

2.1 特点

Redis 与其他 key - value 缓存产品有以下特点:

Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 Redis支持数据的备份,即master-slave模式的数据备份。 Redis支持lua脚本

2.2 redis 为什么这么”快“?

1、完全基于内存,绝大部分请求是纯粹的内存操作。

2、采用单线程,避免了不必要的上下文切换和竞争条件,但同时也无法利用多核的优势。

3、使用多路 I/O 复用模型,实现高吞吐的 IO 操作。

4、数据结构简单,大多数读/写操作为 O(n) 或 O(log(N))。

2.3 应用场景

缓存,作为Key-Value形态的内存数据库,Redis 最先会被想到的应用场景便是作为数据缓存 分布式锁,分布式环境下对资源加锁 分布式共享数据,在多个应用之间共享 排行榜,自带排序的数据结构(sorted set) 消息队列,pub/sub功能也可以用作发布者 / 订阅者模型的消息

image.png

3、技术解析

3.1 技术架构

image.png redis 6.x 之前是真正意义上的单线程(处理客户端的连接和执行操作的命令都是由一个线程完成的)。

redis 6.x 之后引入多线程(处理客户端请求是由专门的线程处理, 执行命令还是单线程)。

3.2 redis的数据类型

image.png

3.2.1、String

set key value:设置值 get key:获取值 del key:删除key

strlen key:获取该key值对应的value值的长度

append key "xxx":在该key对应的value值追加上xxx

incr key:该key对应的value自增1 decr key:该key对应的value自减1'

incrby key xx:该key对应的value增加xx decrby key xx:减少xx

getrange key x1 x2: 获取x1-x2范围内的值,类似between...and的关系,从零到负一表示全部

String数据结构是简单的key-value类型,value其实不仅可以是String,也可以是数字。常规key-value缓存应用: 常规计数:微博数,粉丝数等

3.2.2、List列表 命令格式 lxxx

所有的list命令都是用l开头的

lpush 集合名 xx:将xx插入到集合头部 rpush:将xx插入到集合尾部

lrange 集合名 x y:获取集合里x-y的值 (0 -1为获取集合中所有的值)

lpop 集合名:移除该集合的左值 rpop:移除该集合的右值

lindex 集合名 x:获取该集合中下标为x的值 llen 集合名:获取集合的长度

lset 集合名 index xx:该集合下标为index的值更新为xx(不能添加)

linsert 集合名 before yy xx:在集合中的yy值前面插入一个xx值

linsert 集合名 after yy xx:在集合中的yy值后插入一个xx值

3.2.3、Set 命令格式 sxxx

set中的值是不能重复的

sadd 集合名 值:向set集合中添加值

smembers 集合名:查看该set集合中所有的值

srem 集合名 值:移除set集合中的某个值

srandmember 集合名:随机取出集合中的一个值

spop 集合名:随机删除一些set集合中的元素

smove set1 set2 "xx":把set1中的xx移动到set2

sdiff set1 set2:差集 sinter set1 set2:交集 sunion set1 set2:并集

3.2.4、Hash 命令格式 hxxx

hset 集合名 key1 value1:给map集合中添加一个或者多个key-value键值对

hget 集合名 key:获取对应的key的value值 hgetall 集合名:获取集合中所有的键值对

hexists 集合名 key:判断该集合中的指定key是否存在 hkeys 集合名:获取集合中所有的key

3.2.5、Zset有序集合命令格式 zxxx

zadd 集合名 scroe值 xx:想集合中增加xx值,排序的时候通过score的值进行排序

zrange 集合名 0 -1:查询集合中所有的值,默认按照score值的升序排列

zrangebyscore 集合名 -inf +inf:按score值升序排列,可以用具体值替换+-inf,例如[-inf,2000]

zrevrangebyscore 集合名 +inf -inf:按照score的值降序排列

zrem 集合名 值:移除该集合中的指定元素 zcard 集合名:获取有序集合中的元素的个数

3.2.6、GEO类型 命令格式 geoxxx

将指定的地理空间位置(经度、纬度、名称)添加到指定的 key 中,这些数据将会存储到 sorted set。这样的目的是为了方便使用 GEORADIUS 或者 GEORADIUSBYMEMBER 命令对数据进行半径查询等操作。也就是说,推算地理位置的信息,两地之间的距离,周围方圆的人等等场景都可以用它实现。

image.png

4、使用步骤

介绍在程序中的编程步骤,使用方式

spring-boot-data-redis 和 redission

spring-boot-data-redis 默认使用 Lettuce 客户端操作数据。但Reddissin 很强大,它提供的功能远远超出了一个 Redis 客户端的范畴,使用它来替换默认的 Lettuce。在可以使用基本 Redis 功能的同时,也能使用它提供的一些高级服务:

远程调用 分布式锁 分布式对象、容器 常规使用可以使用spring-boot-data-redis,在spring-data下操作一致

有分布式需求的情况下可以使用redission

1)添加依赖

<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2)配置连接

server.port=8088
spring.redis.host=127.0.0.1
#Redis服务器连接端口
spring.redis.port=6379
#Redis服务器连接密码(默认为空)
spring.redis.password=123456
#连接池最大连接数(使用负值表示没有限制)
spring.redis.pool.max-active=8
#连接池最大阻塞等待时间(使用负值表示没有限制)
spring.redis.pool.max-wait=-1
#连接池中的最大空闲连接
spring.redis.pool.max-idle=8
#连接池中的最小空闲连接
spring.redis.pool.min-idle=0
#连接超时时间(毫秒)
spring.redis.timeout=30000

3)创建entity

@Data
@AllArgsConstructor
@RedisHash("user")
public class Player {
    @Id
    String name;
    int age;
}

4)创建dao

@Repository
public interface PlayerDao extends  CrudRepository<Player, String> {
}
5)调用
@RestController
public class TestController {
    @Autowired
    PlayerDao playerDao;
 
    @GetMapping("/")
    public  void getTest(){
        playerDao.save(new Player("ccc",19));
    }
}

5、常用工具,开发方式

1.说明

Redis Desktop Manager是一款简单快速、跨平台的Redis桌面管理工具,也被称作Redis可视化工具;支持命令控制台操作,以及常用,查询key,rename,delete等操作。

2.安装

1、进入Redis Desktop Manager在git的发行版(免费版)页面 Release 0.9.3 · uglide/RedisDesktopManager · GitHub

新的版本收费

2、点击 redis-desktop-manager-0.9.3.817.exe ,下载

image.png

6、经验分享

  1. key、value的定义

Key的最佳实践:

固定格式:[业务名]:[数据名]:[id],会有目录结构 不包含特殊字符 控制 key 的长度 Value的最佳实践:

合理的拆分数据,拒绝BigKey 选择合适数据结构 Hash结构的entry数量不要超过1000 设置合理的超时时间 2) 缓存雪崩

指缓存中大批量数据到过期时间,同时查询数据量巨大,引起数据库压力过大甚至宕机。与缓存击穿不同的是,缓存击穿是围绕并发查询同一条数据,而缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库,解决方案:

1、设置缓存数据的过期时间随机,防止同一时间内大量数据发生过期。

2、设置热点数据过期时间更长或永久。

  1. 缓存击穿

指缓存中没有数据,但数据库中有数据,一般是未做热加载或缓存过期导致,在某一刻由于并发查询同一条数据的请求特别多,读缓存无数据,因此同时去数据库查询数据,引起数据库压力瞬间增大,解决方案:

1、设置热点数据缓存过期时间更长或永久。

2、当查询缓存无数据时,使用互斥锁控制只允许一个线程 A 查询数据库,其余请求线程等待线程 A 加载数据到缓存,如Guava Cache在查询缓存无数据时,只允许一个线程加载。

  1. 存储大小限制

String类型:一个String类型的value最大可以存储512M

List类型:list的元素个数最多为2^32-1个,也就是4294967295个。

Set类型:元素个数最多为2^32-1个,也就是4294967295个。

Hash类型:键值对个数最多为2^32-1个,也就是4294967295个。

Sorted set类型:跟Set类型相似。

  1. 避免作为消息队列

Redis其实还能够支持消息队列的应用,但其读写效率是不及其他MQ如Kafka、RabbitMQ等。且由于其结构的设置,不太能够支撑

MQ的一些主要特性,所以应当避免使用。

  1. 你在使用 Redis 时,要把它当做缓存来使用,而不是数据库。

  2. 批量命令代替单个命令

当你需要一次性操作多个 key 时,你应该使用批量命令来处理。

批量操作相比于多次单个操作的优势在于可以显著减少客户端、服务端的来回网络 IO 次数