前言

本文先介绍TCP中实现可靠传输的方式, 引出KCP是如何在应用层实现UDP可靠性传输

 本专栏知识点是通过零声教育的线上课学习，进行梳理总结写下文章，对c/c++linux课程感兴趣的读者，可以点击链接 C/C++后台高级服务器课程介绍 详细查看课程的服务。

一、如何做到可靠性传输？

1.ACK机制

2.重传机制

3.序号机制

4.重排机制

5.窗口机制 流量控制 带宽有限

ARQ协议

ARQ协议： 即自动重传请求,是传输层的错误纠正协议之一,它通过使用确认和超时两个机制,保证可靠信息传输

主要有3种模式

1. 即停等待:

2. 回退N帧:  

对于接收方来说，若一个序号为 n 的分组被正确接收，并且按序，则接收方会为该分组返回一个ACK 给发送方，并将该分组中的数据交付给上层。在其他情况下，接收方都会丢弃分组。若分组n 已接收并交付，那么所有序号比 n小的分组也已完成了交付( 永远记住 ACK 是表示这之前的包都已经全部收到 )。如果序号为N的分组丢失,那么序号为N 以及 N 之后的分组都将被重传

3. 选择性重传:

RTT和RTO

RTO: 重传超时时间, RTO > RTT 时重传

RTT: 往返时延, 计算方式大概是 比如这个 SERVER A 时候发送包 A ,包A的头部携带时间戳, SERVER B 回传包A时会在头部带包A的时间戳(让SERVER A知道这个包是自己在什么时候发的, 从发包到现在接收到回传经过了多少时间  RTT = 当前时间戳 - 发包时间戳),

流量控制

为什么需要流量控制

双方在通信的时候, 发送方的速率与接收方的速率不一定相等, 如果发送方的发送速率太快, 接收方处理不过来, 此时接收方只能把处理不过来的数据存在缓存区里 (失序的数据包也会被存放在缓存区里)接收缓存。

如果缓存区满了发送方还在发送数据, 接收方只能把收到的数据包丢弃(大量的丢包会极大浪费网络资源),因此,需要控制发送方的发送速率, 让接收方与发送方处于一种平衡。

流量控制-如何控制

接收方每次收到数据包,可以在发送确定报文(ACK)的时候，在报文头部通过window Size 告诉发送方自己的缓冲区还剩余多少空闲区(接收窗口大小)

发送方收到后, 便会调整自己的发送速率(发送窗口大小),当发送方收到接收窗口的大小为0时, 发送方就会停止发送数据, 防止丢包

对端接收窗口忙了停止发送后, 发送方何时再发送数据

接收方主动通知:  当接收方处理好数据，接受窗口 win > 0 时，接收方发个通知报文去通知发送方，告诉他可以继续发送数据了。当发送方收到窗口大于0的报文时，就继续发送数据

窗口探测: 当发送方收到接受窗口 win = 0 时，这时发送方停止发送报文，并且同时开启一个定时器，每隔一段时间就发个测试报文去询问接收方，打听是否可以继续发送数据了，如果可以，接收方就告诉他此时接受窗口的大小；如果接受窗口大小还是为0，则发送方再次刷新启动定时器

通信的双方都拥有两个滑动窗口，一个用于接受数据，称之为接收窗口；一个用于发送数据，称之为拥塞窗口(即发送窗口)。指出接受窗口大小的通知我们称之为 窗口通告

拥塞控制

流量控制只关注发送方跟接受方自身的状况(接受方内核readbuff 大小),而没考虑到整个网络的通信状况(包体的往返时延 RTT),于是需要拥塞处理,让发送方与接收方出于一个更好的速率平衡。

拥塞处理主要涉及到下面这几个算法

慢启动（Slow Start）:  每个TCP 连接都有一个拥塞(发送)窗口的限制，最初这个值很小, 随着时间的推移,每次发送的数据量如果在不丢包的情况下慢慢递增(逐渐测试放大发送包体的数据量),这种机制就是 慢启动

       计算方式:

       cwnd 初始值较小时，每收到一个 ACK，cwnd + 1，每经过一个 RTT，cwnd 变为之前的两倍

拥塞避免（Congestion Avoidance）: 当拥塞窗口通过慢启动机制到达一个阀值时,拥塞窗口进入拥塞避免阶段(防止发送窗口无限扩张), 此时每一个 RTT, 拥塞窗口增加一个 MSS大小(1),直到检测到拥塞为止。

快速重传（Fast Retransmit）:  当接受端收到一个不按序到达的数据时, 立即回传一个重复的ACK (比如此时 发送端 应该发送1003到接受端, 但是却发了一个1004, 接受端立马回了一个1004的ACK给发送端, 那么当发送端收到 3个或以上重复的ACK, 就意识到之前发的包(1003)可能丢了, 于是就可以马上进行重传 不用等超时重传)

快速恢复（Fast Recovery）: 当收到三次重复 ACK 时，进入快速恢复阶段。解释为网络轻度拥塞。拥塞阀值降低到 发送窗口的一半,拥塞窗口 设置成 拥塞阀值 并且线性增加(每次加 1)

为了实现上面的算法，TCP 的每条连接都有两个核心状态值：

拥塞窗口（Congestion Window，cwnd）: 拥塞窗口是发送端的限制, 是发送端还未收到对端ACK之前还能发送的数据。 假设此时已知对端的接受窗口大小是4KB，这时发给了对端 2KB，在未收到对端的ACK确认包时,这时自己还能发送给对方的数据最大应该是 4K-2K= 2KB(实际应该小于2KB, 慢启动的机制 让 拥塞窗口 逐渐变大)。

发送窗口大小 = 「接收端接收窗口大小(rwnd)」 与 「发送端自己拥塞窗口大小(cwnd)」 两者的最小值

慢启动阈值（Slow Start Threshold，ssthresh）: 用于控制慢启动拥塞窗口的增长, 当拥塞窗口小于阀值时按指数级增长(慢启动)。 当拥塞窗口大于阀值时,触发拥塞避免,让拥塞窗口按线性增长

     

二、可靠性UDP-KCP

特性: 面向报文

recvform()读数据时需要把数据一次读完,否则会丢失

mtu: 建议发送1400字节

如果要同时监听多个端口, 可以考虑使用epoll方式管理(send recv)

如果只有单个端口,采用 recvfrom

1.UDP网络编程

UDP 编程 C++ 代码如下（示例）：

2.KCP

       UDP 面相报文发送消息,简单说协议本身只管发而不管对端收没收到消息。那要如何实现UDP的可靠性传输,那就是把 TCP 的可靠机制移植过来在应用层中实现。目前成熟的可靠性传输算法有KCP, QUIC等。

重传时间(RTO)

TCP超时计算是RTO*2, 这样连续丢三次包就变成RTOx8了，十分恐怖，而KCP启动快速模式后不x2，只是x1.5（实验证明1.5这个值相对比较好），提高了传输速度。

以 RTO=100ms 为例：重传四次的情况下在TCP中的重传时间间隔分别是200, 400, 800, 1600而在KCP中分别是 200，300,  450,  675

选择性重传

TCP 丢包时会全部重传从丢的那个包开始以后的数据(回退N帧)， KCP 是选择性重传，只重传真正丢失的数据包。

快速重传

发送端发送了 1,2,3,4,5 几个包，然后收到远端的 ACK: 1, 3, 4, 5 ，当收到 ACK3 时， KCP

知道 2 被跳过 1 次，收到 ACK4 时，知道 2 被跳过了 2 次，此时可以认为 2 号丢失，不用

等超时，直接重传 2 号包，大大改善了丢包时的传输速度。 fastresend=2

延迟ACK

TCP为了节省带宽而采用延迟ACK机制, 不是每个数据包都对应一个 ACK 包，因为可以合并确认。也不是接收端收到数据以后必须立刻马上回复确认包。 KCP 是否延迟确认可以通过设置调节

UNA+ACK

ARQ 模型响应有两种， UNA （此编号前所有包已收到，如 TCP ）和  ACK （该编号包已收

到），光用 UNA 将导致全部重传，光用 ACK 则丢失成本太高，以往协议都是二选其一，

而 KCP 协议中， 除去单独的 ACK 包外，所有包都有 UNA 信息 。

非退让流控

KCP正常模式同TCP一样使用公平退让法则，即发送窗口大小由： 发送缓存大小、接收

端剩余接收缓存大小、丢包退让及慢启动 这四要素决定。但传送及时性要求很高的小

数据时，可选择通过配置跳过后两步，仅用前两项来控制发送频率。以牺牲部分公平

性及带宽利用率之代价，换取了开着BT都能流畅传输的效果。

KCP源码流程图

kcp 调度器机制

应用层对KCP数据的收发主要关注 kcp_recv, kcp_send, 但是需要有一个kcp_update 循环loop 来处理接受到kcp的封包数据的解包回传确认包, 以及发包的数据封包等工作, 相当于是一个调度器

kcp 发送数据流程

KCP发送数据时需要发送 ikcp_send 发送数据, 这时KCP会把数据组装成 header+data的形式(可能进行分帧)发送到send_queue, send_buf(发送窗口) 从 send_queue 获取数据   通过 sendto 发送给对端, 在send_buf中缓存着 已发送 已发送待确认 未发送几种状态的数据, 假设收到对端的回传UNA=9, 9之前的数据会被从send_buf中移除

kcp 接收数据流程

1.把收到的数据放入rcv_buf 并排好序

2 数据放入rcv_queue

3 ikcp_recv 从recv_queue 读取组帧完成的数据（header 头部中的 frg字段, frg=0代表最后一个分片, 如果有切片(分帧), 切片的时候会设计好最大值）

KCP 头部解析

[0,3]conv:连接号。UDP是无连接的，conv用于表示来自于哪个 客户端。对连接的一种替代

[4]cmd:命令字。如，IKCP_CMD_ACK确认命令， IKCP_CMD_WASK接收窗口大小询问命令，IKCP_CMD_WINS接收 窗口大小告知命令，

[5]frg:分片，用户数据可能会被分成多个KCP包，发送出去

[6,7]wnd:接收窗口大小，发送方的发送窗口不能超过接收方给 出的数值

[8,11]ts:时间序列

[12,15]sn:序列号

[16,19]una:下一个可接收的序列号。其实就是确认号，收到 sn=10的包，una为11

[20,23]len：数据长度

data:用户数据，这一次发送的数据长度

cmd 命令字

总结