面试官:说说Redis中Set数据类型的底层实现

936 阅读5分钟

前言

本文将对Redis的Set数据类型的底层实现进行介绍。

整数集合

整数集合(intset)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现。

举个例子,如果我们创建一个只包含五个元素的集合键,并且集合中的所有元素都是整数值.那么这个集合键的底层实现就会是整数集合:

redis> SADD numbers 1 3 4 5 6
(integer) 5

redis> OBJECT ENCODING numbers
"intset"

实现

整数集合(intset)是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为int16_t,int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素。

intset 结构定义如下:

typedef struct intset {
    // 编码方式
    uint32_t encoding;
    // 集合包含的元素数量
    uint32_t length;
    // 保存元素的数组
    int8_t contents[];
} intset;
  • length属性记录了整数集合包含的元素数量,也即是contents数组的长度。
  • contents数组是整数集合的底层实现:整数集合的每个元素都是contents数组的一个数组项(item),各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。

虽然intset结构将contents属性声明为int8_t类型的数组,但实际上contents数组并不保存任何int8_t类型的值,contents数组的真正类型取决于encoding属性的值:

  • 如果encoding属性的值为INTSET_ENC_INT16,那么contents就是一个int16_t类型的数组,数组里的每个项都是一个int16_t类型的整数值(最小值为-32768,最大值为32767 )
  • 如果encoding属性的值为INTSET_ENC_INT32,那么contents就是一个int32_t类型的数组,数组里的每个项都是一个int32_t类型的整数值(最小值为-2147483648,最大值为2147483647 )
  • 如果encoding属性的值为INTSET_ENC_INT64,那么contents就是一个int64_t类型的数组,数组里的每个项都是一个int64_t类型的整数值(最小值为-9223372036854775808,最大值为9223372036854775807)

例如,一个整数集合示例如下:

image.png

  • encoding属性的值为INTSETENC_INT16,表示整数集合的底层实现为int16_t类型的数组,而集合保存的都是int16_t类型的整数值
  • length属性的值为5,表示整数集合包含五个元素
  • contents数组按从小到大的顺序保存着集合中的五个元素
  • 因为每个集合元素都是 int16_t类型的整数值,所以 contents数组的大小等于 sizeof(int16_t)*5=16*5=80位

升级

每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级(upgrade),然后才能将新元素添加到整数集合里面。

升级整数集合并添加新元素共分为三步进行:

1、根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。

2、将底层数组现有的所有元素都转换成与新元素相同的类型,并将类型转换后的元素放置到正确的位上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变。

3、将新元素添加到底层数组里面。

因为每次向整数集合添加新元素都可能会引起升级,而每次升级都需要对底层数组中已有的所有元素进行类型转换,所以向整数集合添加新元素的时间复杂度为O(N)。

其他类型的升级操作,比如从INTSET_ENC_INT16编码升级为INTSET_ENC_INT64编码,或者从INTSET_ENC_INT32编码升级为INTSET_ENC_INT64编码,升级的过程都是一样的。

好处

整数结合的升级策略有两个好处,一个是提升整数集合的灵活性,另一个是尽可能的节约内存。

提升灵活性

因为C语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值放在同一个数据结构里面。

节约内存

如果不使用升级策略,让一个数组同时保存三种类型的值,最简单的做法就是直接使用最大的类型作为集合的底层实现。这样一来 ,即使添加到集合中的都是较小类型的值,数组也使用最大类型的空间去保存数据,造成内存浪费。

而整数集合既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要时进行,这样可以尽量节省内存。

降级

整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。

小结

整数集合(intset) 是集合键的底层实现之一,整数集合的底层实现为数组,这个数组以有序、无重复的方式保存集合元素,在有需要时,程序会根据新添加元素的类型,改变这个数组的类型。并且整数集合只支持升级操作,不支持降级操作。

如对 Redis感兴趣,可继续关注本专栏。