网络 (TCP/IP 四层协议中常见网络协议)

应用层

DNS (Domain Name System) 域名系统.

DNS 是一整套从域名映射到 IP的系统

NAT 技术

解决 IP 地址不够用的问题. 可以实现私有 IP 和全局 IP 的相互转换

NAPT 技术

使用 IP + Port 唯一确定局域网中的主机

传输层

TCP 协议 (Transmission Control Protocol 传输控制协议)

TCP 协议段格式

6位标志位:

• URG : 紧急指针是否有效
• ACK : 确认序号是否有效
• PSH : 提示接收端应用程序立刻从 TCP 缓冲区中把数据读走
• PST : 对方要求重新建立连接. 携带 PST 标识的报文称为复位报文段

• SYN : 请求建立连接. 把携带 SYN 标识的报文称为同步报文段
• FIN : 通知对方, 连接要关闭了. 将携带 FIN 标识的报文称为结束报文段

紧急指针: 标识哪部分数据时紧急数据

TCP 的确认应答机制(安全机制)

TCP 将每个字节的数据编号, 即序列号.

每一个 ACK 带有对应的确认序号. 代表该序号之前的数据已经发送完毕, 下一次请从该序号对应的数据开始发.

TCP 的超时重传机制(安全机制)

主机 A 给主机 B 发送数据后, 主机 A 为收到确认应答 (ACK), 在一个时间间隔的等待后, 会重传数据

未收到确认应答, 有两种情况

• 数据丢了: 没有办法, 只能重传数据

• ACK 丢了: 如果主机 A 重传数据, 主机 B 会收到重复的包, 于是就会根据 序号, 对缓冲区内的数据包进行排序, 去重.

TCP 的连接管理机制(安全机制)

三次握手建立连接, 四次挥手断开连接

滑动窗口 (效率机制)

一收一发效率较低, 因此可以一次发送多条数据 (将多个段的等待时间重叠)

窗口大小 : 无需等待确认应答而可以继续发送数据的最大值 (这里假定窗口大小为 4000)

OS 内核为了维护滑动窗口, 需要开辟发送缓冲区来记录未应答数据 (应答后删除)

窗口越大, 网络吞吐率越高

丢包处理

丢包有两种情况:

1. ACK 丢了
   

假设这里的 ACK = 1001 丢了

对于 server 来说, 我已经收到 1~1000 的数据, 不管 1001的ACK有没有被 client 接收到, 当我接收到 1001 ~ 2000 的数据时, 就可以直接返回 ACK = 2001

ACK 的含义是, 确认序号之前数据都已收到, 即对于 2001 的 ACK 来说, 1~2000 的数据都已收到

client 收到 2001的ACK , 即使没有收到 1001 的ACK , 也会默认 1~1000 是发送成功的

部分 ACK 丢失并不要紧, 可以通过后续 ACK 进行确认

2. 数据包丢了

该机制称为 “高速重发控制” (快重传)

流量控制 (安全机制)

接收端处理数据能力有限, 如果接收端的缓冲区被打满, 发送端仍发送数据, 那么就会出现丢包, 重传等一系列机制

TCP 支持根据接收端的处理能力, 来控制发送端的发送速度, 该机制称为 “流量控制”

• 接收端将自己剩余的窗口大小, 通过 ACK 中, TCP 首部的 “窗口大小” 和 “窗口扩大因子” 通知给发送端
• 发送端根据 ACK 中的信息来决定自身的数据发送速度

• 如果接收端缓冲区已满, 会将窗口设置为 0.
  此时发送端不再发送数据, 而是会定期发送一个 窗口探测数据段, 来获取接收方的窗口大小信息

拥塞机制 (安全机制)

TCP 连接建立初, 如果突然发送大量数据, 就很可能出现问题

处理方式: 慢启动机制

先发送少量数据, 探测网络拥堵状态, 再决定以多大的速度进行数据传输

引入概念 – 拥塞窗口 cwnd

• 发送刚开始时, 定义 拥塞窗口大小为 1
• 每次收到一个 ACK, 拥塞窗口大小加 1 (以传输轮次为标准, 其实每一轮拥塞窗口的大小是翻倍的)
• 每次发送数据时, 将上次 ACK 中缓冲区窗口大小 和 拥塞窗口大小做比较, 取较小值作为实际发送的窗口大小 (实际发送数据的速度)

慢启动的启动速度慢, 但是增长速度快 (指数级别)

引入概念 – 慢启动的阈值 (ssthresh)

• 当拥塞窗口超过这个阈值时, 将按照线性方式进行增长
• 当 TCP 开始启动时, ssthresh 等于窗口最大值

• 每次超时重发的时候, ssthresh 减到当前拥塞窗口大小的一半 (ssthresh = cwnd [网络拥塞时])
  并且拥塞窗口大小, 会置回 1 (cwnd = 1)

延迟应答(效率机制)

接收到数据时, 如果接收数据的主机立刻返回 ACK, 则返回的窗口会较小 (返回过程和新数据的传输过程是需要耗时的, 接收数据的主机已经处理了很多数据). 因此我们可以慢一些再返回数据

此外会对 慢一些 进行限制, 防止太慢让发送端误以为丢包, 进行超时重传了

• 数量限制: 每个 N 条就返回一次 ACK
• 时间限制: 超过最大延迟时间 (MSL) 就返回一次 ACK
• 一般 N 取2, MSL 取 200ms

捎带应答(效率机制)

ACK 随接收端返回的数据一同返回

TCP 的性质 : 大小限制

• 创建 Socket 时, 同时会在操作系统内核中创建一个发送缓冲区和一个接收缓冲区

1. 调用 write 时, 会将数据先写入发送缓冲区
2. 如果发送的数据太长, 会被拆分成多个 TCP 的数据包发出

1. 如果发送的数据太短, 会在缓冲区等待长度差不多, 或者其他时机再发出
2. 接收数据时, 数据也是从网卡驱动程序到达内核的接收缓冲区
3. 应用程序调用 read , 从接收缓冲区拿数据

• 由于缓冲区的存在, TCP 程序的读写操作不需要一一匹配

1. 写1000字节的数据, 可以写一次大小1000字节, 也可以写100次大小100的字节
2. 读同理

粘包问题

包 : 应用层数据包

站在传输层角度, TCP 时一个一个的报文过来的, 按照序号有序排放在缓冲区中

站在应用层角度, 能看到的只是一串连续的字节数据

粘包问题就是接收端无法区分应用层数据包之间的边界, 导致读取多个完整或不完整数据包的问题

解决粘包问题的关键是明确数据包的边界

• 数据包定长: 按照固定大小读取
• 数据包变长:

• 在包头位置约定总包长度
• 在包与包之间, 使用明确分隔符

TCP 异常情况

进程终止 / 程序重启 : 进程结束时会释放文件描述符, 此时仍可以发送 FIN , 即和正常关闭无区别

机器掉电 / 网线断开 : 接收端会认为连接正常, 仍会进行数据收发

当接收端发数据时, 感知到发送端已断开连接, 就会触发 reset

如果接收端不进行发数据操作, 也会有保活机制定期检测对方的状态

基于 TCP 的应用层协议

HTTP / HTTPS / SSH / Telnet / FTP / SMTP

UDP 协议

UDP 特性 : 面向数据报

应用层交给UDP多长的报文, UDP 原样发送, 既不会拆包, 也不会合并

基于 UDP 的应用层协议

NFS / TFTP / DHCP / BOOTP / DNS

TCP 和 UDP 的应用场景

• TCP 用于可靠传输情况. eg: 文件传输, 重要状态更新 …
• UDP 用于高速传输, 对实时性要求高的通信领域. eg: 广播, 视频传输, 早期 QQ

网络层

网络层协议进行路径选择

IP 协议

协议头格式

标识: 唯一标识 主机发送的报文. 同一报文在链路层的分片 标识相同 (id 相同)

3位标志字段

• 保留
• 禁止分片 (1 – 禁止)

• 更多分片 (类似于结束标志, 0 – 结束)

分片偏移: 分片相对于原始 IP 报文开始处的偏移

生存时间 TTL: 数据到达目的地的最大报文跳数

协议: 表示上层协议是什么

数据链路层

以太网

以太网是一种技术标准, 应用于数据链路层和物理层, 而不是一个具体的网络

以太网帧格式

地址: MAC 地址

类型: 分为三种

1. IP
2. ARP
3. PARP

MTU 最大传输单元

不同数据链路层对物理层, 产生不同的限制

如果一个数据包从以太网 路由到 拨号链路上, 数据包长度大于 拨号链路的 MTU, 则数据包就要进行分片操作

ARP 协议

介于网络层和数据链路层之间的协议

作用: 建立主机 IP 和 MAC 地址的映射关系