Netty(三) 什么是 TCP 拆、粘包?如何解决?(上)

简介: 记得前段时间我们生产上的一个网关出现了故障。这个网关逻辑非常简单,就是接收客户端的请求然后解析报文最后发送短信。但这个请求并不是常见的 HTTP ,而是利用 Netty 自定义的协议。有个前提是:网关是需要读取一段完整的报文才能进行后面的逻辑。

前言


记得前段时间我们生产上的一个网关出现了故障。


这个网关逻辑非常简单,就是接收客户端的请求然后解析报文最后发送短信。


但这个请求并不是常见的 HTTP ,而是利用 Netty 自定义的协议。


有个前提是:网关是需要读取一段完整的报文才能进行后面的逻辑。


问题是有天突然发现网关解析报文出错,查看了客户端的发送日志也没发现问题,最后通过日志发现收到了许多不完整的报文,有些还多了。


于是想会不会是 TCP 拆、粘包带来的问题,最后利用 Netty 自带的拆包工具解决了该问题。


这便有了此文。


TCP 协议


问题虽然解决了,但还是得想想原因,为啥会这样?打破砂锅问到底才是一个靠谱的程序员。


这就得从 TCP 这个协议说起了。


TCP 是一个面向字节流的协议,它是性质是流式的,所以它并没有分段。就像水流一样,你没法知道什么时候开始,什么时候结束。


所以他会根据当前的套接字缓冲区的情况进行拆包或是粘包。


下图展示了一个 TCP 协议传输的过程:



发送端的字节流都会先传入缓冲区,再通过网络传入到接收端的缓冲区中,最终由接收端获取。


当我们发送两个完整包到接收端的时候:



正常情况会接收到两个完整的报文。


但也有以下的情况:



接收到的是一个报文,它是由发送的两个报文组成的,这样对于应用程序来说就很难处理了(这样称为粘包)。



还有可能出现上面这样的虽然收到了两个包,但是里面的内容却是互相包含,对于应用来说依然无法解析(拆包)。


对于这样的问题只能通过上层的应用来解决,常见的方式有:


  • 在报文末尾增加换行符表明一条完整的消息,这样在接收端可以根据这个换行符来判断消息是否完整。


  • 将消息分为消息头、消息体。可以在消息头中声明消息的长度,根据这个长度来获取报文(比如 808 协议)。


  • 规定好报文长度,不足的空位补齐,取的时候按照长度截取即可。


以上的这些方式我们在 Netty 的 pipline 中里加入对应的解码器都可以手动实现。

但其实 Netty 已经帮我们做好了,完全可以开箱即用。


比如:


  • LineBasedFrameDecoder 可以基于换行符解决。


  • DelimiterBasedFrameDecoder可基于分隔符解决。


  • FixedLengthFrameDecoder可指定长度解决。


字符串拆、粘包


下面来模拟一下最简单的字符串传输。


还是在之前的


github.com/crossoverJi…


进行演示。


在 Netty 客户端中加了一个入口可以循环发送 100 条字符串报文到接收端:


/**
     * 向服务端发消息 字符串
     * @param stringReqVO
     * @return
     */
    @ApiOperation("客户端发送消息,字符串")
    @RequestMapping(value = "sendStringMsg", method = RequestMethod.POST)
    @ResponseBody
    public BaseResponse<NULLBody> sendStringMsg(@RequestBody StringReqVO stringReqVO){
        BaseResponse<NULLBody> res = new BaseResponse();
        for (int i = 0; i < 100; i++) {
            heartbeatClient.sendStringMsg(stringReqVO.getMsg()) ;
        }
        // 利用 actuator 来自增
        counterService.increment(Constants.COUNTER_CLIENT_PUSH_COUNT);
        SendMsgResVO sendMsgResVO = new SendMsgResVO() ;
        sendMsgResVO.setMsg("OK") ;
        res.setCode(StatusEnum.SUCCESS.getCode()) ;
        res.setMessage(StatusEnum.SUCCESS.getMessage()) ;
        return res ;
    }
    /**
     * 发送消息字符串
     *
     * @param msg
     */
    public void sendStringMsg(String msg) {
        ByteBuf message = Unpooled.buffer(msg.getBytes().length) ;
        message.writeBytes(msg.getBytes()) ;
        ChannelFuture future = channel.writeAndFlush(message);
        future.addListener((ChannelFutureListener) channelFuture ->
                LOGGER.info("客户端手动发消息成功={}", msg));
    }



相关文章
|
3月前
|
网络协议 Java Maven
基于Netty实现TCP通信
基于Netty实现TCP通信
64 0
|
5天前
|
编解码 网络协议 开发者
Netty运行原理问题之NettyTCP的粘包和拆包的问题如何解决
Netty运行原理问题之NettyTCP的粘包和拆包的问题如何解决
|
19天前
|
移动开发 网络协议 算法
(十)Netty进阶篇:漫谈网络粘包、半包问题、解码器与长连接、心跳机制实战
在前面关于《Netty入门篇》的文章中,咱们已经初步对Netty这个著名的网络框架有了认知,本章的目的则是承接上文,再对Netty中的一些进阶知识进行阐述,毕竟前面的内容中,仅阐述了一些Netty的核心组件,想要真正掌握Netty框架,对于它我们应该具备更为全面的认知。
|
3月前
|
网络协议
Netty实现TCP通信
Netty实现TCP通信
72 0
|
2月前
|
网络协议
netty粘包问题分析
netty粘包问题分析
20 0
|
2月前
|
消息中间件 存储 网络协议
拼多多面试:Netty如何解决粘包问题?
粘包和拆包问题也叫做粘包和半包问题,**它是指在数据传输时,接收方未能正常读取到一条完整数据的情况(只读取了部分数据,或多读取到了另一条数据的情况)就叫做粘包或拆包问题。** 从严格意义上来说,粘包问题和拆包问题属于两个不同的问题,接下来我们分别来看。 ## 1.粘包问题 粘包问题是指在网络通信中,发送方连续发送的多个小数据包被接收方一次性接收的现象。这可能是因为底层传输层协议(如 TCP)会将多个小数据包合并成一个大的数据块进行传输,导致接收方在接收数据时一次性接收了多个数据包,造成粘连。 例如以下案例,正常情况下客户端发送了两条消息,分别为“ABC”和“DEF”,那么接收端也应该收到两
19 0
拼多多面试:Netty如何解决粘包问题?
|
2月前
|
Java
Netty传输object并解决粘包拆包问题
Netty传输object并解决粘包拆包问题
20 0
|
2月前
|
Java
Netty中粘包拆包问题解决探讨
Netty中粘包拆包问题解决探讨
12 0
|
3月前
|
网络协议 Java 物联网
Spring Boot与Netty打造TCP服务端(解决粘包问题)
Spring Boot与Netty打造TCP服务端(解决粘包问题)
419 1
|
3月前
|
JSON 移动开发 网络协议
数据拆散与黏连:深入剖析Netty中的半包与粘包问题
数据拆散与黏连:深入剖析Netty中的半包与粘包问题
66 0