将TCP中无边界的数据流解析为有边界的数据包

1,721 阅读3分钟

背景 TCP是字节流(流式协议, 无边界), 它本身不知道边界, 也不存在边界,TCP 有两个特点:

  • TCP会缓存小的数据包, 攒够了之后再一起发出去;
  • 受网络等因素影响, 也会将大的数据段拆分发送。

因此即使我们一个个数据发送,接收端是无法按照数据块接收的,只会持续接到无边界的,随机大小的数据块,也就是我们所说的字节流。

因此业务中我们需要把字节流切开成一个个的消息来处理,我们设计了一套方案将无边界的数据流解析为有边界的数据包。喜欢的话 star,想订阅点 watch~

原理

对要发送的数据进行协议编码,把一份数据data分为 header +body两个结构,header 默认固定长度(2 byte),header的内容描述的是 body 数据的长度。由于header定长,因此可以通过解析header,动态解析 body 的内容。

默认 header 我们使用 2 Byte 的存储空间,即Int16最大表示的 body 长度为 32767,也就是16M

如上图,我们看先取出数据流的前两位,读取到内容 0x00, 0x02转化为整数的长度是 2,再读取出body第3、4位 0x61, 0x62。下面是一个简单的demo:

// example/tcpSample.js
'use strict';
const net = require('net');
const { Stick, MaxBodyLen } = require('../index');
const stick = new Stick(1024);

// 设置最大传输body大小为 32K,即 header用两个 Byte,最大表示的值为 32767
stick.setMaxBodyLen(MaxBodyLen['32K']);

// server端
const server = net.createServer(socket => {
  
    // socket 接收到的 片段 put 到 stick 中处理
    socket.on('data', data => {
        stick.putData(data);
    });
  
    // stick 会解析好一个个数据包,按照接收的顺序输出
    stick.onBody(body => {
        console.log('body:', body.toString());
    });

    server.close();
});
server.listen(8080);

// client 端
const client = net.createConnection({ port: 8080, host: 'localhost' }, () => {
  
    // 客户端通过 stick 打包内容
    const data = stick.makeData(JSON.stringify({ userName: 'liuwei' }));
  
    // 然后把打包对的内容通过 TCP 发送给 服务端
    client.write(data);
  
    client.destroy();
});

Output:

$ node example/sample.js
body: {"userName":"liuwei"}

More Example

API

  • Class: Stick

    • new Stick(bufferSize: number)

      Stick 类用于处理数据包,从流中解析出用户定义的一块快数据

      • bufferSize Stick处理数据包初始化的缓存大小,默认 512 Bytes
    • putData(buf: Buffer)

      往 stick 中put 收到的数据流

    • onData(callback)

      当收到的数据流中包含了完整的数据块,触发回调返回数据块(header+body

      • callback: (buf: Buffer): void
    • onBody(callback)

      当收到的数据流中包含了完整的数据块,触发回调返回数据内容(body

    • makeData(body: string): Buffer

      用于客户端中,帮助生成符合 Stick 协议的数据块(data

    • setMaxBodyLen(length: MaxBodyLen)

      设置body 的最大长度,提供两种配置见 ** MaxBodyLen**

  • Enum: MaxBodyLen

    • 32K 最大32kb
    • 2048M 最大 2048M

多语言

目前数据打包方式只提供了 Node.Js 包,stick.makeData()但现实场景中可能很多时间,客户端是其他语言编写的比如C语言运行在单片机上,这时候大家可以基原理图自行打包,规则所示:

data = header(body.length) + body

License

MIT