RDMA优势和通信过程,以太网socket为何用户空间拷贝到内核空间

54 阅读3分钟

视频分享:

RDMA verbs编程 源码案例IB ROCE_哔哩哔哩_bilibili

一、以太网socket通信

添加图片注释,不超过 140 字(可选)

添加图片注释,不超过 140 字(可选)

1.1 以太网socket通信过程

1、发送端发起一次通信操作,数据由用户空间拷贝到内核空间。拷贝由CPU完成,并且在内核空间总由CPU完成数据封装,添加报头和校验信息。

2、发送端网卡通过DMA由主机内存内核空间复制数据到发送端网卡的内部缓存。

3、发送端网卡通过物理链路发送数据给接收端网卡。

4、接收端网卡,通过DMA将接收端网卡缓存空间的数据拷贝到主机内存的内核空间。

5、CPU对数据进行解析和校验,并将数据由内核空间复制到用户空间。

1.2 以太网socket通信的缺点

1、send/recv等系统调用,导致系统在用户态和内核态间切换,耗时,增加传输延时。

2、发送时数据需要从用户空间拷贝到内核空间(接收时反向拷贝),增加传输延时。

3、CPU全程参与数据包的封装和解析,对CPU造成负担。

1.3 为啥要从用户空间拷贝到内核空间

1、由于用户空间的物理地址空间不连续。

2、网卡无法支持不连续物理地址用户空间访问。

因此需要将数据由物理地址不联系的用户空间,拷贝到物理地址连续的内核空间,让网卡访问连续地址空间的主机内存空间。

二、RDMA(Remote Direct Memory Access)

RDMA(远程直接内存访问)将控制通路和数据通路分开。

发送端和接收端都需要利用控制通路,进入内核状态,创建通信所需的各种资源,为正式的数据通信做好准备。

添加图片注释,不超过 140 字(可选)

添加图片注释,不超过 140 字(可选)

1.1 RDMA数据传输过程

1、发送端网卡,通过DMA,将用户空间的数据拷贝到网卡缓存,对数据进行协议封装,添加各层协议报头和校验信息。

2、发送端网卡通过网线/光纤将封装好的数据发送给接收端网卡。

3、接收端网卡对数据进行解析后,通过DMA将数据拷贝到用户空间。

1.2 RDMA的优点

1、数据传输时没有系统调用,不需要用户态内核态切换,降低通信延迟。

2、省去数据在户空间拷贝到内核空间之间的拷贝,降低通信延迟。(零拷贝)

3、数据包的封装和解析,由网卡完成,降低CPU负载。

1.3 RDMA对硬件的新要求

1、网卡能够访问物理地址不连续的用户空间。

2、网卡需要负责数据的封装和解析。

参考资料:

Linux高性能网络详解,从DPDP、RDMA到XDP