这是我参与「第三届青训营 -后端场」笔记创作活动的的第7篇笔记
需要使用I/O复用技术的情况：
- 客户端程序要处理多个socket；
- 客户端程序要同时处理用户输入和网络连接；
- TCP服务器要同时处理监听socket和连接socket；
- 服务器要同时处理TCP请求和UDP请求；
- 服务器要同时监听多个端口或处理多种服务。
注： 在Linux中，值为0、1、2的fd分别代表标准输入、标准输出和标准错误输出。在程序中打开文件得到的fd从3开始增长。在内核中，每一个进程都有一个私有的“打开文件表”，这个表是一个指针数组，每一个元素都指向一个内核的打开文件对象。而fd，就是这 个表的下标。当用户打开一个文件时，内核会在内部生成一个打开文件对象，并在这个表里找到一个空项，让这一项指向生成的打开文件对象，并返回这一项的下标 作为fd。由于这个表处于内核，并且用户无法访问到，因此用户即使拥有fd，也无法得到打开文件对象的地址，只能够通过系统提供的函数来操作。
select系统调用
select可用于在指定一段时间内，监听用户感兴趣的文件描述符上的可读、可写和异常等事件。
select系统调用
#include <sys/select.h>
// nfds指定被坚挺的文件描述符的总数，通常设置为select监听的所有文件描述符中最大值加一
// readfds、writefds、exceptfds分别指向可读、可写和异常等事件对应的文件描述符集合
// timeout用来设置select的超时时间，通过采用指针参数是因为内核将修改它以告诉程序select等待了多久，调用失败时候timeout值是不确定的
int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* exceptfds, struct timeval* timeout);
// 成功是返回就绪文件描述符的总数。超时返回0， 失败返回-1并设置errno
// fd_set结构体定义
// 仅包含一个整型数组，该数组的每个元素的每一位标记一个文件描述符
#include <typesizes.h>
#define __FD_SETSIZE 1024
#include <sys/select.h>
#define FD_SETSIZE __FD_SETSIZE
typedef long int __fd_mask;
#undef __NFDBITS
#define __NFDBITS (8*(int)sizeof(__fd_mase))
typedef struct{
#ifdef __USE_XOPEN
__fd_mask fds_bits[__FD_SETSIZE/__NFDBITS];
#define __FDS_BITS(set) ((set)->fds_bits)
#else
__fd_mask __fds_bits[__FD_SETSIZE/__NFDBITS];
#define __FBS_BITS(set)((set)->__fds_bits)
#endif
} fd_set;
// 使用宏访问fd_set结构体中的位
#include <sys/select.h>
FD_ZERO(fd_set *fdset); // 清除fdset所有位
FD_SET(int fd, fd_set *fdset); // 设置fdset的位fd
FD_CLR(int fd, fd_set *fdset); // 清除fdset的位fd
int FD_ISSET(int fd, fd_set *fdset); // 测试fdset的位fd是否被设置
// timeval结构体定义：
struct timeval{
long tv_sec; // 秒数
long tv_usec; // 微妙数
};
文件描述符就绪条件
下列情况下socket可读：
- socket内核接受缓存区中的字节数大小或等于其低水位标记SO_RCVLOWAT。此时可以无阻塞的读取该socket，并且读操作返回的字节数大于0；
- socket通信的对方关闭连接，此时对该socket的读操作返回0；
- 监听socket上有新的连接请求；
- socket上有未处理的错误，此时可通过getsockopt读取和清除该错误；
下列情况下socket可写：
- socket内核发送缓存区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时可以无阻塞的写socket，且写操作返回的字节数大于0；
- socket的写操作被关闭，对写操作关闭的socket执行写操作将触发一个SIGPIPE信号；
- socket使用非阻塞connect连接成功或失败之后；
- socket上有未处理的错误，此时可通过getsockopt读取和清除该错误；
socket能处理的异常只有一种：socket上接收到带外数据。
poll系统调用
poll是在指定时间内轮询一定数量的文件描述符，以测试其中是否有就绪者。
#include <poll.h>
// fds参数是一个pollfd结构类型的数组，指定所有我们感兴趣的文件描述符上发生的可读、可写和异常等事件。
// nfds指定被监听事件集合fds的大小，定义为：typedef unsigned long int nfds_t;
// timeout指定poll超时值，单位是毫秒。timeout=-1时，poll调用永远阻塞；timeout=0是poll调用立即返回
int poll(struct pollfd* fds, nfds_t nfds, int timeout);
// pollfd结构体定义：
struct pollfd{
int fd; // 文件描述符
short events; // 注册的事件
short revents; // 实际发生的时间，由内核填充
}
poll支持的事件类型表：
| 事 件 | 描 述 | 是否可作为输入 | 是否可作为输出 |
|---|---|---|---|
| POLLIN | 数据(包括普通数据和优先数据)可读 | 是 | 是 |
| POLLRDNORM | 普通数据可读 | 是 | 是 |
| POLLRDBAND | 优先级数据可读(Linux不支持) | 是 | 是 |
| POLLPRI | 高级优先级数据可读 | 是 | 是 |
| POLLOUT | 数据可写 | 是 | 是 |
| POLLWRNORM | 普通数据可写 | 是 | 是 |
| POLLWRBAND | 优先级带数据可写 | 是 | 是 |
| POLLRDHUP | TCP连接被对方关闭，或对方关闭了写操作，由GNU引入 | 是 | 是 |
| POLLERR | 错误 | 否 | 是 |
| POLLHUP | 挂起 | 否 | 是 |
| POLLNVAL | 文件描述符没打开 | 否 | 是 |
epoll系列系统调用
内核事件表
epoll是Linux特有的I/O复用函数。其使用一组函数来完成任务，将用户关心的文件描述符上的事件放在内核里的一个时间表中，无需像select和poll每次调用都要重复传入文件描述符集或事件集。epoll需要使用一个额外的文件描述符，来比唯一标识内核中的事件表。
#include <sys/epoll.h>
// 创建文件描述符
// size只是提示事件表大小
int epoll_create(int size);
// 该函数返回将用作其他所有epoll系统调用的第一个参数，以指定要访问的内核事件表
// 操作epoll的内核事件表
// fd：要操作的文件描述符
// op：指定操作类型：EPOLL_CTL_ADD(往事件表注册fd上的事件)；EPOLL_CTL_MOD(修改fd上的注册事件)；EPOLL_CTL_DEL(删除fd上的事件)
// event：指定事件，是epoll_event结构指针类型
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
// 调用成功时候返回0，失败返回-1并设置errno
// epoll_event结构定义
struct epoll_event{
__uint32_t events; // epoll事件
epoll_data_t data; // 用户数据
};
// epoll_data_t是一个联合体，fd指定事件从属的目标描述符；ptr指定fd相关用户数据。
typedef union epoll_data{
void* ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
epoll_wait函数
epoll_wait是在一段超时时间内等待一组文件描述符上的事件。
#include <sys/epoll.h>
// maxevents指定最多监听多少个事件
// timeout定义超时时间
int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int timeout);
// 成功时返回就绪的文件描述符的个数，失败时返回-1，并设置errno；
// epoll_wait函数如果检测到时间，就将所有就绪的事件从内核事件表中复制到它的第二个参数events指向的数组中，该数组只用于输出epoll_wait检测到的就绪事件。
// select和poll即传入用户注册的事件，又输出内核检测到的就绪事件
实例：poll和epoll在使用上的差别
// 如何索引poll返回的就绪文件描述符
int ret = poll(fds, MAX_EVENT_NUMBER, -1);
// 必须遍历所有已注册文件描述符，并找到其中的就绪者
for(int i=0;i<MAX_EVENT_NUMBER;i++){
if(fds[i].revents & POLLIN){ // 判断第i个文件是否就绪
int sockfd = fds[i].fd;
// 处理sockfd
}
}
// 如何索引epoll返回的就绪文件描述符
int ret = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);
// 遍历就绪的ret文件描述符
for(int i=0;i<ret;i++){
int sockfd = events[i].data.fd;
// 处理sockfd
}
LT和ET模式
epoll对文件描述符的操作有两种：LT(电平触发模式)和ET(边缘触发模式)。其中默认位LT，其相当于效率较高的poll。当往epoll内河事件表注册一个文件描述符上的EPOLLET事件时，epoll将以ET模式来操作该文件描述符。ET模式是epoll的高效工作模式。 采用LT工作模式的文件描述符，当epoll_wait检测到其上有事件发生并将此通知给应用程序后，应用程序可以不立即处理该事件。当应用程序下次调用epoll_wait时，epoll_wait还会再次想用应用程序告知此事件，直到该事件被处理。 采用ET工作模式的文件描述符，当epoll_wait检测到其上有时间通知应用程序后，应用程序必须立即处理该事件，后续epoll_wait将不再向应用程序通知这一事件。因此ET模式降低了同一个epoll事件被重复出发的次数，效率比LT模式高。
EPOLLONESHOT事件
即使使用ET模式，一个socket上的某个事件还是可能被触发多次，因此在并发程序中，若一个线程读取完某个socket上的数据后开始处理这些数据，若是该socket又有新数据可读，此时另外的线程被唤醒读取新数据，导致两个线程同时操作一个socket局面。 对于注册了EPOLLONESHOT事件的文件描述符，操作系统中最多出发其注册的的一个可读、可写或异常事件，且只能触发一次。这样，一个线程处理某个socket时，其他线程无法操作该socket。同hi，注册了EPOLLONESHOT事件的socket一旦被讴歌线程处理完毕，该线程将立即重置这个socket上的EPOLLONESHOT事件，确保这个socket下次可读时，EPOLLIN事件能被触发。
三组I/O复用函数的比较
| 系统调用 | select | poll | epoll |
|---|---|---|---|
| 事件集合 | 用户通过3个参数分别传入感兴趣的可读、可写及异常等事件，内核通过对这些参数的在线修改来反馈其中的就绪事件。这是的用户每次调用select都要重置这三个参数 | 统一处理所有事件类型，因此只需要一个事件集参数，内核通过修改pollfd.revents反馈其中就绪事件 | 内核通过一个事件表直接管理用户感兴趣的所有时间，因此每次调用epoll_wait时，无须反复传入用户感兴趣的事件。epoll_wait系统调用的参数events仅用来反馈就绪的事件 |
| 应用程序索引就绪文件描述符的时间复杂度 | O(n) | O(n) | O(1) |
| 最大支持文件描述符数 | 一般有最大限制 | 65535 | 65535 |
| 工作模式 | LT | LT | LT、ET |
| 内核实现和工作效率 | 采用轮询的方式检测就绪事件，算法时间复杂度为O(n) | 采用轮询的方式检测就绪事件，算法时间复杂度为O(n) | 采用回调的方式检测就绪事件，算法时间复杂度为O(1) |
poll、select、epoll的区别？
-
poll：时间复杂度O(n)，与select没有区别，将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态。但其是基于链表存储，因此没有最大连接数的限制。
-
select：时间复杂度O(n)，其仅仅知道由I/O事件发生，但是有多少个以及哪一个发生都不知道，因此只能无差别轮询所有流，进行操作。且是队列的形式保存，因此有最大连接数的限制。
-
epoll：时间复杂度O(1)，其会将哪个流发生了怎样的I/O事件通知出来，其实事件驱动的。其具有如下优点：
- 没有最大并发连接的限制；
- 效率提升，不使用轮询的方式查看
- 内存拷贝，可利用mmap()文件映射内存加速与内核空间的消息传递。
-
三者的区别：
-
支持一个进程能打开的最大连接数：
- select：根据FD_SETSIZE宏定义去欸的那个，其大小是32的整数倍。
- poll：基于链表存储，没有最大数的连接限制。
- epoll：虽然连接数有限，但是很大，1G内存的机器可以打开10w左右的链接。
-
FD剧增后带来的I/O效率问题：
- select：每次调用都对连接进行遍历，其fd增加会造成遍历速度慢的“线性下降性能问题”。
- poll：同上
- epoll：根据fd的callback函数实现，只有活跃的socket才会主动调用callback，因此没有显著得性能下降问题，除非所有的socket都很活跃。
-
消息传递方式：
- select：内核要将消息传递到用户空间，需要内核靠被动作。
- poll：同上。
- epoll：用户空间和内核共享一块内存实现。
-
epoll 是怎么实现的
- epoll向内核注册了一个文件系统，用于存储被监控的socket。当调用epoll_create时，就会在这个虚拟的epoll文件系统里创建一个file结点。这个file只服务于epoll。epoll在被内核初始化的时候(操作系统启动)，同时会开辟出epoll自己的内核高速cache区，用于安置每一个我们想监控的socket。这些socket会以红黑树的形式保存在内核cache中，以支持夸苏的查找、插入、删除。这个内核告诉cache区，就是建立连续的物理内存也，然后就在其之上建立slab层，简单来说就是物理上分配好你想要的size的内存对象，每次使用时都是使用空闲的已分配好的对象。
- epoll的高效在于当我们调用epoll_ctl往里塞入百万句柄时，epoll_wait仍然可以快速返回，并有效地将发生时间的句柄给我们用户。这是由于epoll_create时，内核除了帮我们在epoll文件系统里建立了一个file结点，在内核cache建立一个红黑树用于存储以后epoll_ctl传来的socket外，还会再建立一个list链表，用于存储准备就绪的事件，当epoll_wait调用时，仅关注这个list链表里有没有数据即可。而这个list链表的维护，是当我们执行epoll_ctl时候，除了吧socket放到epoll文件系统里file对应的红黑树上之外，还会给内核中断处理程序注册一个回调函数，所以当一个socket有数据到了，内核在把网卡数据copy到内核之后就会把socket插入到准备就绪的链表里。
- epoll再epoll_ctl函数中，每次注册新的时间到epoll句柄时，会把所有的fd拷贝进内核，而不是在epoll_wait时重复拷贝，保证了每个fd在整个过程中只会拷贝一次。
- 当系统调用epoll_create方法时，内核会创建一个eventpoll对象，其也是文件系统中的一员，也会有等待队列。通过epoll_ctl添加socket监控，内核会将eventpoll添加到socket等待队列中。进程运行到epoll_wait语句时，内核会将进程放入到eventpoll等待队列中，阻塞进程。当socket接收到数据时，会唤醒eventpoll等待队列的进程。
select
主旨思想：
首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中。
调用一个系统函数，监听该列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O操作时，该函数才返回。
a.这个函数是阻塞
b.函数对文件描述符的检测的操作是由内核完成的
在返回时，它会告诉进程有多少（哪些）描述符要进行I/O操作。
select工作过程分析
select缺点
- 每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大
- 同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多的时候也会很大
- select支持的文件描述符数量太少了，默认是1024
- fds集合不能重用，每次都需要重置
\
