TCP协议的粘包问题&解决方式

976 阅读5分钟

本文正在参与 “网络协议必知必会”征文活动

粘包问题

首先说明一点,TCP有粘包问题,UDP没有粘包问题。

发送端可以是1KB地发送数据,而接收端的应用程序可以2KB地提走数据,当然也有可能一次提走3K或6K数据,或者一次只提走几个字节的数据,也就是说,应用程序所看到的数据是一个整体,或说是一个流(stream),一条消息有多少字节对应用程序是不可见的,因此TCP协议是面向流的协议,这也是容易出现粘包问题的原因。而UDP是面向消息的协议,每个UDP段都是一条消息,应用程序必须以消息为单位提取数据,不能一次提取任意字节的数据,这一点和TCP是很不同的。

TCP是面向连接的,面向流的,提供高可靠性服务。 收发两端(客户端和服务器端)都要有一一成对的socket,因此,发送端为了将多个发往接收端的包,更有效的发到对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。 这样,接收端就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。

UDP是无连接的,面向消息的,提供高效率服务。 不会使用块的合并优化算法,, 由于UDP支持的是一对多的模式,所以接收端的skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(消息来源地址,端口等信息)。 这样,对于接收端来说,就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。

**基于TCP协议的粘包问题主要就是因为接收方不知道消息之间的界限,不知道每次应该提取多少字节的数据造成的。**总结一下,会在两种情况下出现粘包问题:

  • 将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包,造成粘包
  • 客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包

解决粘包问题

问题的根源在于,接收端不知道发送端将要传送的字节流的长度,所以解决粘包的方法就是围绕,如何让发送端在发送数据前,把自己将要发送的字节流总大小让接收端知晓,然后接收端来一个循环接收完所有数据。每个消息接收完,不留残余

具体做法是:发送端发数据前,先将待发的数据长度告知接收端。将数据长度放在一个固定长度的字节中发给接收端;接收端先接收这个固定长度的数据头,从这个数据头中获悉待接收数据的长度,做好循环接收的准备。

可以借助struct模块,该模块可以将任意数据类型转换成固定长度的bytes,因此借助该模块就可以将发送方发送的数据总大小通过struct模块打包成固定长度的bytes,接收端接收后获取发送方发送的数据总大小之后,使用循环接收即可。

把报头做成字典,字典里包含将要发送的真实数据的详细信息,然后json序列化,然后用struck将序列化后的数据长度打包成4个字节。

发送时: 先发报头长度,再编码报头内容然后发送,最后发真实内容;

接收时: 先接收报头长度,用struct取出来,根据取出的长度收取报头内容,然后解码反序列化,从反序列化的结果中取出待取数据的详细信息,然后去取真实的数据内容。

服务端代码:

import subprocess
import struct
import json
import socket

server=socket(AF_INET,SOCK_STREAM)
server.bind(('127.0.0.1',8083))
server.listen(5)

#  服务端应该做两件事
# 第一件事:循环地从板连接池中取出链接请求与其建立双向链接,拿到链接对象
while True:
    conn,client_addr=server.accept()

    # 第二件事:拿到链接对象,与其进行通信循环
    while True:
        try:
            cmd=conn.recv(1024)
            if len(cmd) == 0:break
            obj=subprocess.Popen(cmd.decode('utf-8'),
                             shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE
                             )

            stdout_res=obj.stdout.read()
            stderr_res=obj.stderr.read()
            total_size=len(stdout_res)+len(stderr_res)

            # 1、制作头
            header_dic={
                "filename":"a.txt",
                "total_size":total_size,
                "md5":"1111111111"
            }

            json_str = json.dumps(header_dic)
            json_str_bytes = json_str.encode('utf-8')


            # 2、先把头的长度发过去
            x=struct.pack('i',len(json_str_bytes))
            conn.send(x)

            # 3、发头信息
            conn.send(json_str_bytes)
            # 4、再发真实的数据
            conn.send(stdout_res)
            conn.send(stderr_res)

        except Exception:
            break
    conn.close()

客户端代码:

import struct
import json
from socket import *

client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8083))

while True:
    cmd=input('cmd>>:').strip()
    if len(cmd) == 0: continue
    client.send(cmd.encode('utf-8'))

    # 接收端
    # 1、先收4个字节,从中提取接下来要收的头的长度
    x = client.recv(4)
    header_len=struct.unpack('i',x)[0]

    # 2、接收头,并解析
    json_str_bytes=client.recv(header_len)
    json_str=json_str_bytes.decode('utf-8')
    header_dic=json.loads(json_str)
    print(header_dic)
    total_size=header_dic["total_size"]

    # 3、接收真实的数据
    recv_size = 0
    while recv_size < total_size:
        recv_data=client.recv(1024)
        recv_size+=len(recv_data)
        print(recv_data.decode('utf-8'),end='')
    else:
        print()

结语

文章首发于微信公众号程序媛小庄,同步于掘金知乎

码字不易,转载请说明出处,走过路过的小伙伴们伸出可爱的小指头点个赞再走吧(╹▽╹)