TCP 粘包/拆包的原因及解决方法?

简介: TCP粘包、拆包属于网络底层问题,在数据链路层、网络层、传输层都有可能出现。日常的网络应用开发大多数在传输层出现,而UDP是由消息保护边界的,不会发生粘包、拆包问题,只发生在TCP协议中。假设客户端向服务端发送了两个连续的数据包Packet1、Packet2;

TCP粘包、拆包属于网络底层问题,在数据链路层、网络层、传输层都有可能出现。日常的网络应用开发大多数在传输层出现,而UDP是由消息保护边界的,不会发生粘包、拆包问题,只发生在TCP协议中。假设客户端向服务端发送了两个连续的数据包Packet1、Packet2;


在这个过程中可能会出现3种情况:


  • 正常:两个数据包逐一分开发送


  • 粘包:两个包一同发送,


  • 拆包:Server接收到不完整的或多出一部分的数据包


如下图所示:


image.png


粘包/拆包的原因


发生TCP粘包或拆包有很多原因,现列出常见的几点:


  1. 要发送的数据大于TCP发送缓冲区剩余空间大小,将会发生拆包。


  1. 待发送数据大于MSS(最大报文长度),TCP在传输前将进行拆包。


  1. 要发送的数据小于TCP发送缓冲区的大小,TCP将多次写入缓冲区的数据一次发送出去,将会发生粘包。


  1. 接收数据端的应用层没有及时读取接收缓冲区中的数据,将发生粘包。


粘包、拆包解决办法


TCP本身是面向流的,作为网络服务器,如何从这源源不断涌来的数据流中拆分出或者合并出有意义的信息呢?通常会有以下一些常用的方法:


  1. 发送端给每个数据包添加包首部,首部中应该至少包含数据包的长度,这样接收端在接收到数据后,通过读取包首部的长度字段,便知道每一个数据包的实际长度了。


  1. 发送端将每个数据包封装为固定长度(不够的可以通过补0填充),这样接收端每次从接收缓冲区中读取固定长度的数据就自然而然的把每个数据包拆分开来。


  1. 可以在数据包之间设置边界,如添加特殊符号,这样,接收端通过这个边界就可以将不同的数据包拆分开。


举个例子


下面是我之前一个项目的数据包头仅供参考:


消息头定义


序号 字段 长度(字节) 说明
1 headFlag 4 0-3 标志位:固定四个字符‘AABB’ 掘金社区:固定 XTXT
2 version 2 4-5 主版本.次版本,各一个字节 掘金社区:主版本.次版本00 01
3 packetNo 4 6-9 无符号整数,1-int.Max之间循环,应答必须和请求包号相同
4 length 4 10-13 数据区data长度
5 direction 1 14 0:请求,1:应答
6 command 2 15-16 采用接口编号:1-66536
7 data N 17-length+16 length 指定长度,JSON格式,编码采用UTF-8
8 crc16 4 length+17 - 18 从 headFlag到data(包括)所有数据crc16(ccitt-xmodem)校验


其实这个设计就是用到了解决方法中的方法 1 的方案:


首先我将设置一个消息头的标志为固定的 4 个字节长度,如 “XTXT” 表示掘金社区,然后固定前面 17 位按照顺序分别有:标识符、版本号、流水号、数据长度、传输方向、数据包类型。最后为数据区段和最后一位 CRC16 校验码。


下面是拆包的逻辑,代码比较简陋:


try {
    // TODO 待优化
    byte[] head = new byte[17];
    in.readBytes(head);
    byte[] h = new byte[4];
    System.arraycopy(head, 0, h, 0, 4);
    // flag  4
    String f = new String(h, "UTF-8");
    // version 2
    short v = ByteUtil.byteArrayToShort(new byte[]{head[4], head[5]});
    // serial number 4
    int no = ByteUtil.byteArrayToInt(new byte[]{head[6], head[7], head[8], head[9]});
    // length 4
    int len = ByteUtil.byteArrayToInt(new byte[]{head[10], head[11], head[12], head[13]});
    // direction
    byte d = head[14];
    // command
    short com = ByteUtil.byteArrayToShort(new byte[]{head[15], head[16]});
    byte[] content = new byte[len];
    in.readBytes(content);
    int cc = in.readInt();
    byte[] packet = new byte[17 + len];
    System.arraycopy(head, 0, packet, 0, head.length);
    System.arraycopy(content, 0, packet, 17, len);
    int i = CRC16.crc16CcittXmodem(packet);
    if (cc != i) {
        logger.error("decode crc16 fail {}", cc);
    }
    // 校验包
    MessageProtocol protocol = new MessageProtocol();
    protocol.setHeadFlag(f);
    protocol.setVersion(v);
    protocol.setPacketNo(no);
    protocol.setLength(len);
    protocol.setDirection(d);
    protocol.setCommand(com);
    protocol.setData(new String(content, "UTF-8"));
    protocol.setCrc16(cc);
    logger.info("encode MessageProtocol:{}", protocol);
    out.add(protocol);
} catch (Throwable t) {
    logger.error("decode fail", t);
    throw t;
}


参考资料




相关文章
|
网络协议 算法 程序员
坦白局,TCP粘包:我只是犯了每个数据包都会犯的错
李东,自称亚健康终结者,尝试使用互联网+的模式拓展自己的业务。在某款新开发的聊天软件琛琛上发布广告。 键盘说来就来。疯狂发送"李东",回车发送!,"亚健康终结者",再回车发送!
|
网络协议 图形学
Socket TCP协议解决粘包、半包问题的三种解决方案
Socket TCP协议解决粘包、半包问题的三种解决方案
325 2
Socket TCP协议解决粘包、半包问题的三种解决方案
|
移动开发 网络协议 Java
TCP 粘包/拆包问题
《基础系列》
165 0
TCP 粘包/拆包问题
|
移动开发 网络协议
TCP的粘包拆包问题+解决方案
TCP的粘包拆包问题+解决方案
160 0
TCP的粘包拆包问题+解决方案
|
移动开发 网络协议 IDE
Netty通信遇到了TCP拆包粘包问题?看这篇文章如何解决
在上一篇文章中主要是使用Springboot开发了一个Netty通信的基本案例,这篇文章是在上一篇文章的基础之上进行讲解的,主要是考虑传输数据如果遇到粘包问题该如何解决。 这篇文章会按照一下步骤进行讲解,希望对你有所收获: 1、什么是TCP粘包拆包 2、Netty中粘包问题的问题重现 3、Netty中粘包问题的解决方案 OK,在你心中有这么一个基本的脉络之后就可以开始今天的文章了。本系列所有的文章都会给出完整的代码,且在电脑上真实运行了一遍,确保无误。
266 0
Netty通信遇到了TCP拆包粘包问题?看这篇文章如何解决
|
移动开发 网络协议 Java
牛逼!TCP 粘拆包问题及 Netty 中的解决方案
本文选自 Doocs 开源社区旗下“源码猎人”项目,作者 AmyliaY。
303 0
牛逼!TCP 粘拆包问题及 Netty 中的解决方案
|
移动开发 网络协议
【Netty】TCP粘包和拆包
前面已经基本上讲解完了Netty的主要内容,现在来学习Netty中的一些可能存在的问题,如TCP粘包和拆包。
149 0
【Netty】TCP粘包和拆包
|
编解码 网络协议 Java
Netty(三) 什么是 TCP 拆、粘包?如何解决?(下)
记得前段时间我们生产上的一个网关出现了故障。 这个网关逻辑非常简单,就是接收客户端的请求然后解析报文最后发送短信。 但这个请求并不是常见的 HTTP ,而是利用 Netty 自定义的协议。 有个前提是:网关是需要读取一段完整的报文才能进行后面的逻辑。
|
网络协议
TCP的粘包和拆包
TCP的粘包和拆包
184 0
|
7月前
|
机器学习/深度学习 人工智能 网络协议
TCP/IP五层(或四层)模型,IP和TCP到底在哪层?
TCP/IP五层(或四层)模型,IP和TCP到底在哪层?
125 4