Redis基本原理课程笔记| 青训营

64 阅读4分钟

一、Redis是什么?

Redis是一个开源的内存数据结构存储系统,它可以用作数据库、缓存和消息中间件,支持多种数据结构。

Redis的主要特点包括:

1、内存存储:Redis将数据存储在内存中,因此可以实现高速读写操作。它也支持将数据异步地持久化到磁盘上,以便在重启后恢复数据。

2、数据结构丰富:Redis支持多种数据结构,使得开发者可以方便地处理不同类型的数据。

3、高性能:由于Redis的数据存储在内存中,它具有非常高的读写性能。此外,Redis还提供了一些高效的操作,如原子性地执行多个操作、批量操作等。

4、支持持久化:Redis支持将数据持久化到磁盘上,以便在重启后恢复数据。它提供了两种持久化方式:快照(snapshotting)和日志(append-only file)。

5、分布式支持:Redis可以通过复制(replication)和分片(sharding)来实现高可用性和扩展性。

二、为什么需要Redis?

image.png

随着互联网应用的发展,需要传输和读写的数据越多,最开始简单的数据库逐渐演化为数据库集群。然而数据仍然在变多,读写数据的压力越来越大,需要一个好的解决方案。于是Redis应运而生:

image.png

三、Redis的基本工作原理

1、基于内存存储: Redis 的所有数据都存储在内存中,这使得数据的读取和写入速度非常快。这也是 Redis 被广泛用作缓存系统的主要原因。

2、数据结构: Redis 支持多种数据结构,如字符串(String)、哈希(Hashes)、列表(Lists)、集合(Sets)、有序集合(Sorted Sets)、位图(Bitmaps)、hyperloglogs 和地理空间索引半径查询。

3、持久化: 尽管 Redis 的数据存储在内存中,但它也支持把数据持久化到磁盘。这是通过两种方式实现的:RDB(Redis DataBase)和 AOF(Append Only File)。RDB 是在指定的时间间隔内生成数据集的时间点快照。AOF 则记录服务器接收到的所有写操作命令并在服务器启动时,通过重新执行这些命令来重新构建数据。

4、主从复制: Redis 支持主从复制,即从服务器会复制主服务器的数据。这使得在主服务器出现问题时,可以立即切换到从服务器,提高了系统的可用性。

5、事务: Redis 支持事务,可以通过 MULTI, EXEC, DISCARD 和 WATCH 四个命令来实现。这使得一组命令可以作为一个原子单元执行,要么全部成功,要么全部失败。

四、Redis使用注意事项

1、大Key

数据类型大Key标准
String类型value的字节数大于10KB即为大key
Hash/Set/Zset/list等复杂数据结构类型元素个数大于5000个或总value字节数大于10MB即为大key

大Key的危害:读取成本高;容易导致慢查询(过期、删除);主从复制异常,服务阻塞;无法正常响应请求

消除大Key的方法:

1、拆分:将大key拆分为小key。例如一个String拆分成多个String。

2、压缩:将value压缩后写入redis,读取时解压后再使用。压缩算法可以是gzip、snappy、lz4等。通常情况下, 一个压缩算法压缩率高、则解压耗时就长。需要对实际数据进行测试后,选择一个合适的算法。 如果存储的是JSON字符串,可以考虑使用MessagePack进行序列化。

3、集合类结构hash、list、set、set

2、热Key

用户访问一个Key的QPS特别高,导致Server实例出现CPU负载突增或者不均的情况。 热key没有明确的标准,QPS 超过500就有可能被识别为热Key。

热Key的解决方法:

1、设置Localcache:在访问Redis前,在业务服务侧设置Localcache,降低访问Redis的QPS。LocalCache中缓存过期或未命中, 则从Redis中将数据更新到LocalCache。Java的Guava、Golang的Bigcache就是这类LocalCache

2、拆分:将key:value这一个热Key复制写入多份,例如key1:value,key2:value,访问的时候访问多个key,但value是同一个, 以此将qps分散到不同实例上,降低负载。代价是,更新时需要更新多个key,存在数据短暂不一致的风险

3、使用Redis代理的热Key承载能力:字节跳动的Redis访问代理就具备热Key承载能力。本质上是结合了“热Key发现”、“LocalCache”两个功能。

image.png