网络请求和传输的一些笔记

liuniansilence
73 阅读9分钟

Q：解释一下网络请求数据按照 MTU 分包

在网络通信中，MTU（Maximum Transmission Unit，最大传输单元）指的是网络层（通常是 IP 层）在一次传输中能够承载的最大数据包大小，以字节为单位。MTU 包含 IP 头和数据部分，通常以以太网为例，默认的 MTU 值为 1500 字节。

分包（Fragmentation）

当一个数据包的大小超过了 MTU 的限制时，网络设备（如路由器）或操作系统的网络栈会将这个数据包分割成多个更小的片段，以确保每个片段都能符合 MTU 限制。这一过程被称为分包或碎片化。

工作原理

  1. 发送端分包：如果应用层的数据超出了网络层的 MTU 限制，数据会被拆分为多个小块，每个小块加上必要的协议头部，形成多个符合 MTU 的数据包。

  2. 数据传输：这些小包会通过网络发送到目的地。每个小包都带有信息表明它属于哪个数据包的哪个部分。

  3. 接收端重组：接收端会收到这些小包，并将它们重新组合成原始数据。如果任何一个小包丢失或损坏，接收端可能无法正确重组数据，导致数据丢失或需要重新传输。

应用场景

分包操作通常发生在以下场景：

  • 大型文件传输：当传输的数据量较大时（如传输大文件），数据可能会被分割成多个 MTU 大小的数据包。
  • 视频或音频流：在实时通信中，如视频或音频流，数据流可能会超过 MTU 大小，因此需要分包传输。
  • VPN 和隧道协议：在某些隧道协议（如 VPN）中，封装的额外头部可能导致原始数据包超出 MTU，需要分包处理。

注意事项

分包通常会带来一些性能和可靠性问题：

  • 效率降低：过多的分包可能导致传输效率下降，因为每个包都需要额外的头部信息。
  • 重组失败：如果网络不稳定，部分包丢失或顺序错乱，可能导致接收端无法正确重组数据，造成数据丢失。

为了避免这些问题，通常会在应用层或传输层进行优化，例如使用 Path MTU Discovery 来动态调整数据包大小，避免或减少分包的发生。

Q：TLS 默认会增加1到2次握手，解释一下这个过程

在使用 TLS（传输层安全协议）时，确实会增加额外的握手步骤，这些步骤旨在确保通信的安全性。具体来说，TLS 握手过程会增加 1 到 2 次往返（Round Trip Time, RTT），这取决于具体的情况。以下是 TLS 握手的详细解释：

1. 什么是 TLS 握手？

TLS 握手是客户端（例如浏览器）与服务器之间的通信开始时的一个过程，它的主要目的是：

  • 认证：确认服务器的身份（有时还包括客户端的身份）。
  • 密钥协商：双方协商生成一个共享的对称加密密钥，用于加密接下来的通信内容。
  • 协议协商：确定使用的 TLS 版本、加密算法等。

2. 握手步骤详解

传统 TLS 1.2 握手（2 个 RTT）

  • 第 1 次往返（RTT1）：

    • 客户端发送 ClientHello：客户端向服务器发送 ClientHello 消息，其中包含支持的 TLS 版本、加密算法、随机数等。
    • 服务器响应 ServerHello：服务器返回 ServerHello，其中包括选定的 TLS 版本、加密算法、服务器证书、随机数等。随后，服务器发送 ServerKeyExchange（如果使用了 Diffie-Hellman），并可能要求客户端提供证书（可选）。

  • 第 2 次往返（RTT2）：

    • 客户端发送密钥交换消息：客户端发送一个 ClientKeyExchange 消息，生成会话密钥。此后，客户端和服务器各自使用对方的随机数和协商的密钥生成一个共享的会话密钥，并且客户端还发送 Finished 消息。
    • 服务器发送 Finished：服务器使用相同的会话密钥生成对称加密密钥，并发送 Finished 消息，至此握手完成，接下来可以进行加密的通信。

TLS 1.3 握手（1 个 RTT）

  • 第 1 次往返（RTT1）：

    • 客户端发送 ClientHello：与 TLS 1.2 类似，但 ClientHello 消息中已经包含密钥交换的必要信息。
    • 服务器响应 ServerHello：服务器返回 ServerHello 消息，选择加密算法，并立即发送 Finished 消息。这意味着服务器可以在一个往返内完成握手。

  • 0-RTT (Zero Round-Trip Time) 握手：

    • 在某些情况下（如客户端与服务器之前已经握手过，并且缓存了部分信息），可以使用 0-RTT 握手。这种方式允许客户端在发送 ClientHello 的同时发送加密的应用数据，从而减少延迟。

3. 1 到 2 次握手的意义

  • TLS 1.2：传统的 TLS 1.2 协议需要 2 次往返才能完成握手，这意味着会引入额外的网络延迟，尤其是在高延迟网络中。
  • TLS 1.3：TLS 1.3 引入了更快的握手流程，只需要 1 次往返即可完成初次握手，大幅减少了延迟。此外，TLS 1.3 还支持 0-RTT 握手，进一步优化了重用会话时的延迟。

总结

TLS 握手增加的 1 到 2 次往返指的是在建立安全通信时，客户端与服务器之间需要额外的网络往返时间来完成身份验证、密钥协商和协议协商。这是确保通信安全的重要步骤，而不同版本的 TLS 在这个过程中所需的往返次数略有不同。

Q：I/O 的多路复用机制有哪些？

在网络编程和后端开发中，poll、epoll、IOCP、kqueue 和 io_uring 是几种常见的 I/O 多路复用机制，它们用于高效地管理大量并发网络连接。至于 TFO（TCP Fast Open），它是一种 TCP 协议的扩展，用于减少连接建立时间。下面是这些概念的详细解释：

1. poll

  • 简介：poll 是一种 I/O 多路复用机制，允许应用程序监视多个文件描述符（如套接字），并等待其中的任何一个或多个变为可读或可写。它是 select 的改进版，消除了某些限制，如文件描述符数量的限制。
  • 优缺点：
    • 优点：支持大量文件描述符，较 select 更灵活。
    • 缺点：在监视大量文件描述符时性能较差，因为它会遍历整个文件描述符集合。

2. epoll

  • 简介：epoll 是 Linux 特有的 I/O 多路复用机制，旨在解决 poll 和 select 的性能瓶颈。epoll 通过事件通知机制，使得它在处理大量并发连接时更加高效。
  • 工作方式：
    • 采用事件驱动模型，当有文件描述符状态变化时，内核通过回调通知应用程序，而不是应用程序轮询所有文件描述符。
    • 有两种工作模式：epoll_wait 和 epoll_ctl。
  • 优缺点：
    • 优点：适合处理大规模并发连接，高效。
    • 缺点：仅支持 Linux，跨平台性差。

3. IOCP（I/O Completion Ports）

  • 简介：IOCP 是 Windows 特有的异步 I/O 完成端口模型，用于处理大量并发 I/O 操作。它是基于完成端口的机制，应用程序提交 I/O 操作后，不需要阻塞等待，而是通过一个完成端口来接收 I/O 操作完成的通知。
  • 工作方式：
    • 当 I/O 操作完成时，操作系统会将完成的 I/O 请求推送到关联的完成端口队列中，应用程序从队列中取出并处理。
  • 优缺点：
    • 优点：适合高并发、异步 I/O 操作，性能极高。
    • 缺点：仅支持 Windows 系统。

4. kqueue

  • 简介：kqueue 是 FreeBSD 和 macOS 等操作系统提供的 I/O 多路复用机制。类似于 epoll，它基于事件通知的模型，并且支持监视文件描述符以外的系统事件，如信号和进程退出。
  • 工作方式：
    • 使用 kevent 系统调用来添加、删除和接收事件。
  • 优缺点：
    • 优点：灵活，支持多种事件类型，性能优越。
    • 缺点：跨平台支持有限，仅适用于支持 kqueue 的系统。

5. io_uring

  • 简介：io_uring 是 Linux 内核从 5.1 版本开始引入的一个新的异步 I/O API，它通过环形缓冲区（ring buffer）来与内核进行高效的异步通信。io_uring 旨在减少传统 I/O 系统调用中的上下文切换和锁开销。
  • 工作方式：
    • 应用程序和内核共享一个环形缓冲区，用于提交 I/O 请求和接收完成通知，避免频繁的系统调用。
  • 优缺点：
    • 优点：极高的 I/O 性能，减少系统调用和上下文切换开销。
    • 缺点：目前还在不断发展中，适用性有限。

6. TFO（TCP Fast Open）

  • 简介：TFO 是 TCP 协议的一种扩展，旨在减少 TCP 三次握手（TCP 3-Way Handshake）带来的延迟。通过允许客户端在 TCP 握手的 SYN 包中附带数据，使得数据传输可以在握手完成前开始，从而减少延迟。
  • 工作方式：
    • 客户端在首次连接时向服务器发送一个 TFO Cookie，服务器在握手完成后会将这个 Cookie 缓存。以后客户端再次连接时，可以在 SYN 包中附带这个 Cookie 和数据，如果 Cookie 验证成功，服务器可以立即接受数据并处理，而无需等待完整的握手完成。
  • 适用场景：
    • 适用于需要快速建立连接和数据传输的场景，如移动应用和 Web 服务。
  • 支持情况：
    • TFO 需要客户端和服务器都支持，并且通常需要操作系统级别的支持。

关系总结

  • poll、epoll、IOCP、kqueue、io_uring：这些都是不同平台和操作系统下的 I/O 多路复用机制，用于管理和优化高并发网络连接的处理。
  • TFO：它是 TCP 协议的一个扩展，与上述 I/O 多路复用机制不同，TFO 是用于减少 TCP 连接建立时的延迟，主要提升 TCP 协议的传输效率。

它们可以配合使用，但它们的作用和目标是不同的。I/O 多路复用机制专注于高效地管理大量并发 I/O 操作，而 TFO 则专注于加快 TCP 连接建立的速度。

avatar
文章
阅读
粉丝