Redis的事件循环

晋鹏
35 阅读11分钟

12 Redis的事件

本文多数来自于黄健宏《redis设计与实现》的读书笔记

Redis 服务器是一个事件驱动程序，服务器需要处理以下两类事件:

  • 文件事件 (file event): Redis 服务器通过套接字与客户端(或者其他 Redis 服务器)进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端(或者其他服务器)的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作。
  • 时间事件 (time event):Redis 服务器中的一些操作(比如 serverCron 函数)需要在给定的时间点执行，而时间事件就是服务器对这类定时操作的抽象。

12.1 文件事件

Redis 基于 Reactor 模式开发了自己的网络事件处理器ae。

ae底层包含select/epoll/evport/kqueue多种IO多路复用的接口，编译时自动选择系统中性能最高的 I/O 多路复用函数库来作为 Redis 的 IO 多路复用程序的底层实现:

使用I/O 多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器。

当被监听的套接字准备好执行连接应答 (accept)、读取 (read)、写人 (write)、关闭 ( close)等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

ae可以监听多个套接字的AE_READABLE事件以及AE_WRITEABLE事件

  • 当套接字变得可读时(客户端对套接字执行 write 操作，或者执行 close 操作)，或者有新的可应答 (acceptable)套接字出现时 (客户端对服务器的监听套接字执行connect 操作)，套接字产生 AE_READABLE 事件。
  • 当套接字变得可写时(客户端对套接字执行 read 操作)，套接字产生 AEWRITABLE 事件。

I/O多路复用程序允许服务器同时监听套接字的 AE_READABLE 事件和 AE WRITABLE事件，如果一个套接字同时产生了这两种事件，那么文件事件分派器会优先处理 AE_READABLE 事件，等到 AE_READABLE 事件处理完之后，才处理 AE_WRITEABLE 事件。这也就是说，如果一个套接字又可读又可写的话，那么服务器将先读套接字，后写套接字。

API:

// 表示对这个fd进行mask的标记的监听，proc是回调函数，mask是可读或者可写，或者可读又可写。
int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, int mask,
        aeFileProc *proc, void *clientData);
void aeDeleteFileEvent(aeEventLoop *eventLoop, int fd, int mask);
// 获取监听的事件类型
int aeGetFileEvents(aeEventLoop *eventLoop, int fd);
// 阻塞等待fd指定的事件发生
int aeWait(int fd, int mask, long long milliseconds);
// 等待事件循环中所有注册的监听有任意一个发生就返回，或者达到tvp的时间限制
static int aeApiPoll(aeEventLoop *eventLoop, struct timeval *tvp)

事件处理器:

  • acceptTcpHandler: TCP服务端有可读事件的处理器
  • readQueryFromClient: 客户端有请求到来时的处理器
  • sendReplyToClient: 发送数据给客户端的处理器

12.2 时间事件

Redis 的时间事件分为以下两类:

  • 定时事件:让一段程序在指定的时间之后执行一次。比如说，让程序 X 在当前时前的 30 毫秒之后执行一次。
  • 周期性事件: 让一段程序每隔指定时间就执行一次。比如说，让 Y 每隔 30 毫秒就执行一次。

时间事件主要由以下三个属性组成:

  • id: 服务器为时间事件创建的全局唯一ID(标识号)。ID 号按从小到大的顺序递增新事件的 ID 号比旧事件的 ID 号要大。
  • when:毫秒精度的 UNIX 时间戳，记录了时间事件的到达(arrive)时间。
  • timeProc: 时间事件处理器，一个函数。当时间事件到达时，服务器就会调用相应的处理器来处理事件。

一个时间事件是定时事件还是周期性事件取决于时间事件处理器的返回值:

  • 如果事件处理器返回 ae.h/AE_NOMORE，那么这个事件为定时事件:该事件在达到一次之后就会被删除，之后不再到达。
  • 如果事件处理器返回一个非 AE_NOMORE 的整数值，那么这个事件为周期性时间当一个时间事件到达之后，服务器会根据事件处理器返回的值，对时间事件的 when属性进行更新，让这个事件在一段时间之后再次到达，并以这种方式一直更新并运行下去。比如说，如果一个时间事件的处理器返回整数值 30，那么服务器应该对这个时间事件进行更新，让这个事件在 30 毫秒之后再次到达。

实现:

服务器将所有时间事件都放在一个无序链表中，每当时间事件执行器运行时，它就遍历整个链表，查找所有已到达的时间事件，并调用相应的事件处理器。

注意，我们说保存时间事件的链表为无序链表，指的不是链表不按 ID 排序，而是说.该链表不按 when 属性的大小排序。正因为链表没有按 when 属性进行排序，所以当时间事件执行器运行的时候，它必须遍历链表中的所有时间事件，这样才能确保服务器中所有已到达的时间事件都会被处理。

无序链表并不影响时间事件处理器的性能:

在目前版本中，正常模式下的 Redis 服务器只使用 serverCron 一个时间事件，而在benchmark 模式下，服务器也只使用两个时间事件。在这种情况下，服务器几乎是将无序链表退化成一个指针来使用，所以使用无序链表来保存时间事件，并不影响事件执行的性能。

API:

//在N毫秒后执行proc函数，返回值表示下次什么时候执行
long long aeCreateTimeEvent(aeEventLoop *eventLoop, long long milliseconds,
        aeTimeProc *proc, void *clientData,
        aeEventFinalizerProc *finalizerProc);
//  函数返回距离当前时间最近的时间事件
static aeTimeEvent *aeSearchNearestTimer(aeEventLoop *eventLoop)

时间事件应用实例:serverCron 函数:

持续运行的 Redis 服务器需要定期对自身的资源和状态进行检查和调整，从而确保服务器可以长期、稳定地运行，这些定期操作由 redis.c/serverCron 函数负责执行，它的主要工作包括:

  • 更新服务器的各类统计信息，比如时间、内存占用、数据库占用情况等
  • 清理数据库中的过期键值对
  • 关闭和清理连接失效的客户端。
  • 尝试进行 AOF 或 RDB 持久化操作。
  • 如果服务器是主服务器，那么对从服务器进行定期同步
  • 如果处于集群模式，对集群进行定期同步和连接测试。

Redis 服务器以周期性事件的方式来运行 serverCron 函数，在服务器运行期间，每隔一段时间，serverCron 就会执行一次，直到服务器关闭为止。

12.3 事件的调度与执行

因为服务器中同时存在文件事件和时间事件两种事件类型，所以服务器必须对这两种事件进行调度，决定何时应该处理文件事件，何时又应该处理时间事件，以及花多少时间来处理它们等等。

事件的调度和执行由 ae.c/aeProcessEvents 函数负责，以下是该函数的伪代码表示:

def aeProcessEvents () :
    # 获取到达时间离当前时间最接近的时间事件
    time event = aeSearchNearestTimer(
    # 计算最接近的时间事件距离到达还有多少毫秒
    remaind ms = time event.when - unix ts now()
    # 如果事件已到达，那么 remaind ms 的值可能为负数，将它设定为 0
    if remaind ms < 0:
        remaind ms = 0
    # 根据remaind ms 的值，创建 timeval 结构
    timeval = create_timeval_with_ms(remaind ms)
    # 阻塞并等待文件事件产生，最大阻塞时间由传入的 timmeval 结构决定
    # 如果 remaind ms 的值为 0，那么aeApiPoll 调用之后马上返回，不阻塞
    aeApiPoll(timeval)
    # 处理所有已产生的文件事件
    processFileEvents()
    # 处理所有已到达的时间事件
    processTimeEvents()

processEileEvents这个函数因为它并不存在，在实际中，处理已产生文件事件的代码是直接写在 aeErocessEvents函数里面的，这里为了方便讲述，才虚构了 processEileEvents 函数。

将 aeProcessEvents 函数置于一个循环里 面，加上初始化和清理函数，这就构成了 Redis 服务器的主函数以下是该函数的伪代码表示:

def main () :
    # 初始化服务器
    init_server()
    # 一直处理事件，直到服务器关闭为止
    while server_is_not_shutdown () :
        aeProcessEvents()
    #服务器关闭，执行清理操作
    clean_server()

以下是事件的调度和执行规则:

  1. aeApiPoll 函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方达既可以避免服务器对时间事件进行频繁的轮询(忙等待)，也可以确保 aeApiPoll数不会阻塞过长时间。

  2. 因为文件事件是随机出现的，如果等待并处理完一次文件事件之后，仍未有任何时间事件到达，那么服务器将再次等待并处理文件事件。随着文件事件的不断执行，时间会逐渐向时间事件所设置的到达时间逼近，并最终来到到达时间，这时服务器就可以开始处理到达的时间事件了。

  3. 对文件事件和时间事件的处理都是同步、有序、原子地执行的，服务器不会中途中断事件处理，也不会对事件进行抢占，因此，不管是文件事件的处理器，还是时间事件的处理器，它们都会尽可地减少程序的阻塞时间，并在有需要时主动让出执行权，从而降低造成事件饥饿的可能性。比如说，在命令回复处理器将一个命令回复写入到客户端套接字时，如果写入字节数超过了一个预设常量的话，命令回复处理器就会主动用 break 跳出写入循环，将余下的数据留到下次再写;另外，时间事件也会将非常耗时的持久化操作放到子线程或者子进程执行。

  4. 因为处理事件的过程中不会出现抢占，时间事件是在文件事件后处理，所以实际处理时间事件的时间比预定的要晚。

12.4 重点回顾

  • Redis 服务器是一个事件驱动程序，服务器处理的事件分为时间事件和文件事件两类
  • 文件事件处理器是基于 Reactor 模式实现的网络通信程序。
  • 文件事件是对套接字操作的抽象:每次套接学变为可应答(acceptable)、可写 ( writable)或者可读( readable)时，相应的文件事件就会产生。
  • 文件事件分为 AE_READABIE事件(读事件)和AE_WRITABLE事件(写事件)两类。
  • 时间事件分为定时事件和周期性事件:定时事件只在指定的时间到达一次，而周期性事件则每隔一段时间到达一次。
  • 服务器在一般情况下只执行 serverCron 函数一个时间事件，并且这个事件是周期性事件。
  • 文件事件和时间事件之间是合作关系，服务器会轮流处理这两种事件，并且处理事件的过程中也不会进行抢占。
  • 时间事件的实际处理时间通常会比设定的到达时间晚一些

Redis事件驱动执行客户端命令的流程

这是我自己理解的流程。

redis服务器的TCP服务器在初始化之后，会向ae注册TCP服务器fd的可读事件，并关联一个回调函数(acceptTcpHandler)

    for (j = 0; j < server.ipfd_count; j++) {
        if (aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE,
            acceptTcpHandler,NULL) == AE_ERR)
            {
                serverPanic(
                    "Unrecoverable error creating server.ipfd file event.");
            }
    }

这个函数中，会执行网络编程的accept方法，在成功后会拿到与客户端通信的套接字fd, 然后把这个客户端套接字fd，调用aeCreateFileEvent注册可读接口，当客户端发送命令时，对应的文件描述符的事件就会触发，就解析客户端传入的TCP报文，然后处理。

处理完成后，把需要发送响应的动作封装成回调函数。然后注册客户端fd的可写监听，当可写状态触发时，就调用那个回调函数，把数据发回给客户端。 然后再移除可写监听。

avatar
文章
阅读
粉丝