TCP粘包、拆包属于网络底层问题,在数据链路层、网络层、传输层都有可能出现。日常的网络应用开发大多数在传输层出现,而UDP是由消息保护边界的,不会发生粘包、拆包问题,只发生在TCP协议中。假设客户端向服务端发送了两个连续的数据包Packet1、Packet2;
在这个过程中可能会出现3种情况:
- 正常:两个数据包逐一分开发送
- 粘包:两个包一同发送,
- 拆包:Server接收到不完整的或多出一部分的数据包
如下图所示:
粘包/拆包的原因
发生TCP粘包或拆包有很多原因,现列出常见的几点:
- 要发送的数据大于TCP发送缓冲区剩余空间大小,将会发生拆包。
- 待发送数据大于MSS(最大报文长度),TCP在传输前将进行拆包。
- 要发送的数据小于TCP发送缓冲区的大小,TCP将多次写入缓冲区的数据一次发送出去,将会发生粘包。
- 接收数据端的应用层没有及时读取接收缓冲区中的数据,将发生粘包。
粘包、拆包解决办法
TCP本身是面向流的,作为网络服务器,如何从这源源不断涌来的数据流中拆分出或者合并出有意义的信息呢?通常会有以下一些常用的方法:
- 发送端给每个数据包添加包首部,首部中应该至少包含数据包的长度,这样接收端在接收到数据后,通过读取包首部的长度字段,便知道每一个数据包的实际长度了。
- 发送端将每个数据包封装为固定长度(不够的可以通过补0填充),这样接收端每次从接收缓冲区中读取固定长度的数据就自然而然的把每个数据包拆分开来。
- 可以在数据包之间设置边界,如添加特殊符号,这样,接收端通过这个边界就可以将不同的数据包拆分开。
举个例子
下面是我之前一个项目的数据包头仅供参考:
消息头定义
序号 | 字段 | 长度(字节) | 说明 |
1 | headFlag | 4 0-3 | 标志位:固定四个字符‘AABB’ 掘金社区:固定 XTXT |
2 | version | 2 4-5 | 主版本.次版本,各一个字节 掘金社区:主版本.次版本00 01 |
3 | packetNo | 4 6-9 | 无符号整数,1-int.Max之间循环,应答必须和请求包号相同 |
4 | length | 4 10-13 | 数据区data长度 |
5 | direction | 1 14 | 0:请求,1:应答 |
6 | command | 2 15-16 | 采用接口编号:1-66536 |
7 | data | N 17-length+16 | length 指定长度,JSON格式,编码采用UTF-8 |
8 | crc16 | 4 length+17 - 18 | 从 headFlag到data(包括)所有数据crc16(ccitt-xmodem)校验 |
其实这个设计就是用到了解决方法中的方法 1 的方案:
首先我将设置一个消息头的标志为固定的 4 个字节长度,如 “XTXT” 表示掘金社区,然后固定前面 17 位按照顺序分别有:标识符、版本号、流水号、数据长度、传输方向、数据包类型。最后为数据区段和最后一位 CRC16 校验码。
下面是拆包的逻辑,代码比较简陋:
try { // TODO 待优化 byte[] head = new byte[17]; in.readBytes(head); byte[] h = new byte[4]; System.arraycopy(head, 0, h, 0, 4); // flag 4 String f = new String(h, "UTF-8"); // version 2 short v = ByteUtil.byteArrayToShort(new byte[]{head[4], head[5]}); // serial number 4 int no = ByteUtil.byteArrayToInt(new byte[]{head[6], head[7], head[8], head[9]}); // length 4 int len = ByteUtil.byteArrayToInt(new byte[]{head[10], head[11], head[12], head[13]}); // direction byte d = head[14]; // command short com = ByteUtil.byteArrayToShort(new byte[]{head[15], head[16]}); byte[] content = new byte[len]; in.readBytes(content); int cc = in.readInt(); byte[] packet = new byte[17 + len]; System.arraycopy(head, 0, packet, 0, head.length); System.arraycopy(content, 0, packet, 17, len); int i = CRC16.crc16CcittXmodem(packet); if (cc != i) { logger.error("decode crc16 fail {}", cc); } // 校验包 MessageProtocol protocol = new MessageProtocol(); protocol.setHeadFlag(f); protocol.setVersion(v); protocol.setPacketNo(no); protocol.setLength(len); protocol.setDirection(d); protocol.setCommand(com); protocol.setData(new String(content, "UTF-8")); protocol.setCrc16(cc); logger.info("encode MessageProtocol:{}", protocol); out.add(protocol); } catch (Throwable t) { logger.error("decode fail", t); throw t; }