Redis的I/O多路复用模型

328 阅读4分钟

一、Redis是单线程的,为什么还这么快?

  • Redis是纯内存操作的,执行速度非常快。
  • 采用单线程,避免不必要的上下文切换可竞争条件,多线程还要考虑线程安全问题。
  • 采用I/O多路复用模型,非阻塞IO。

二、 解释一下I/O多路复用模型?

Redis是纯内存操作,执行速度非常快,它的性能瓶颈是网络延迟而不是执行速度,I/O多路复用模型主要就是实现了高效的网络请求。 首先了解一下下面的几个概念:

  • 用户空间和内核空间
  • 常见的IO模型
    • 阻塞IO(Blocking IO)
    • 非阻塞IO(Nonblocking IO)
    • IO多路复用(IO Multiplexing)
  • Redis网络模型
1. 用户空间和内核空间
  • Linux系统中一个进程使用的内存情况划分两部分:内核空间、用户空间。
  • 用户空间只能只能执行受限的命令(Ring3),而且不能直接调用系统资源,必须通过内核提供的接口来访问。
  • 内核空间可以执行特权命令(Ring0),调用一切系统资源。

PIiTWxBV0k.jpg

Linux系统为了提高IO效率,会在内核空间和用户空间都加入缓冲区:

  • 写数据时,要把用户缓冲数据copy到内核缓冲区,然后写入设备。
  • 读数据时,要从设备读取数据到内核缓冲区,然后copy到用户缓冲区。
2. 阻塞IO(Blocking IO)

dTKIInldwR.jpg

阻塞IO就是两个阶段都必须阻塞等待:

阶段一:

  1. 用户进程尝试读取数据(比如网卡数据)。
  2. 此时数据尚未到达,内核需要等待数据。
  3. 此时用户进程也处于阻塞状态。

阶段二:

  1. 数据到达并拷贝到内存缓冲区,代表已就绪。
  2. 将内核数据拷贝到用户缓冲区。
  3. 拷贝过程中,用户进程依然阻塞等待。
  4. 拷贝完成,用户进程解除阻塞,处理数据。
3. 非阻塞IO(Nonblocking IO)

2PpBcY3JEd.jpg

非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。

阶段一:

  1. 用户进程尝试读取数据(比如网卡数据)。
  2. 此时数据尚未到达,内核需要等待数据。
  3. 返回异常给用户进程。
  4. 用户进程拿到error后,再次尝试读取。
  5. 循环往复,知道数据就绪。

阶段二:

  1. 将内核数据拷贝到用户缓冲区。
  2. 拷贝过程中,用户进程依然阻塞等待。
  3. 拷贝完成,用户进程解除阻塞,处理数据。

可以看到,非阻塞IO模型中,用户进程在第一个阶段是非阻塞的,但是第二个阶段是阻塞状态。虽然是非阻塞,但性能并没有得到提高。而且忙等机制会导致CPU空转,CPU使用率暴增。

4. IO多路复用(IO Multiplexing)

pQYnpcYKtb.jpg

IO多路复用是利用单个线程同时监听多个socket,并在某个socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。

阶段一:

  1. 用户进程调用select,指定要监听的socket集合。
  2. 内核监听对应的多个socket。
  3. 任意一个或多个socket数据就绪则返回readable。
  4. 此过程中用户进程阻塞。

阶段二:

  1. 用户进程找到就绪socket。
  2. 依次调用recvfrom读取数据。
  3. 内核将数据拷贝到用户空间。
  4. 用户进程处理数据。
监听socket方式,通知的方式:
  • select
  • poll
  • epoll(目前采用的方式)
  1. select/poll方式监听socket select和poll只会通知用户进程有socket就绪,但是不确定具体是哪个socket,需要用户进程逐个遍历socket来确认。
  2. epoll方式监听socket epoll则会在通知用户进程socket就绪的同时,把已就绪的socket写入用户空间。

三、Redis网络模型

Redis通过IO多路复用来提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装,提供了同一个的高性能事件库。Redis网络模型就是使用I/O多路复用结合事件处理器来应对多个socket请求。

jKUx7IrVL0.jpg

为了更好的提升性能,Redis 6.0之后使用了多线程

PLiG88HhYj.jpg

  • 命令回复处理器使用多线程处理回复事件,同时向多个client回复数据。
  • 将命令的转换使用了多线程,但是执行命令时仍然是由主线程串行执行的,因为命令执行是基于内存的操作,并不会影响性能。