应用层
DNS (Domain Name System) 域名系统.
DNS 是一整套从域名映射到 IP的系统
NAT 技术
解决 IP 地址不够用的问题. 可以实现私有 IP 和全局 IP 的相互转换
NAPT 技术
使用 IP + Port 唯一确定局域网中的主机
传输层
TCP 协议 (Transmission Control Protocol 传输控制协议)
TCP 协议段格式
6位标志位:
- URG : 紧急指针是否有效
- ACK : 确认序号是否有效
- PSH : 提示接收端应用程序立刻从 TCP 缓冲区中把数据读走
- PST : 对方要求重新建立连接. 携带 PST 标识的报文称为复位报文段
- SYN : 请求建立连接. 把携带 SYN 标识的报文称为同步报文段
- FIN : 通知对方, 连接要关闭了. 将携带 FIN 标识的报文称为结束报文段
紧急指针: 标识哪部分数据时紧急数据
TCP 的确认应答机制(安全机制)
TCP 将每个字节的数据编号, 即序列号.
每一个 ACK 带有对应的确认序号. 代表该序号之前的数据已经发送完毕, 下一次请从该序号对应的数据开始发.
TCP 的超时重传机制(安全机制)
主机 A 给主机 B 发送数据后, 主机 A 为收到确认应答 (ACK), 在一个时间间隔的等待后, 会重传数据
未收到确认应答, 有两种情况
- 数据丢了: 没有办法, 只能重传数据
- ACK 丢了: 如果主机 A 重传数据, 主机 B 会收到重复的包, 于是就会根据 序号, 对缓冲区内的数据包进行排序, 去重.
TCP 的连接管理机制(安全机制)
三次握手建立连接, 四次挥手断开连接
滑动窗口 (效率机制)
一收一发效率较低, 因此可以一次发送多条数据 (将多个段的等待时间重叠)
窗口大小 : 无需等待确认应答而可以继续发送数据的最大值 (这里假定窗口大小为 4000)
OS 内核为了维护滑动窗口, 需要开辟发送缓冲区来记录未应答数据 (应答后删除)
窗口越大, 网络吞吐率越高
丢包处理
丢包有两种情况:
- ACK 丢了
假设这里的 ACK = 1001 丢了
对于 server 来说, 我已经收到 1~1000 的数据, 不管 1001的ACK有没有被 client 接收到, 当我接收到 1001 ~ 2000 的数据时, 就可以直接返回 ACK = 2001
ACK 的含义是, 确认序号之前数据都已收到, 即对于 2001 的 ACK 来说, 1~2000 的数据都已收到
client 收到 2001的ACK , 即使没有收到 1001 的ACK , 也会默认 1~1000 是发送成功的
部分 ACK 丢失并不要紧, 可以通过后续 ACK 进行确认
- 数据包丢了
该机制称为 “高速重发控制” (快重传)
流量控制 (安全机制)
接收端处理数据能力有限, 如果接收端的缓冲区被打满, 发送端仍发送数据, 那么就会出现丢包, 重传等一系列机制
TCP 支持根据接收端的处理能力, 来控制发送端的发送速度, 该机制称为 “流量控制”
- 接收端将自己剩余的窗口大小, 通过 ACK 中, TCP 首部的 “窗口大小” 和 “窗口扩大因子” 通知给发送端
- 发送端根据 ACK 中的信息来决定自身的数据发送速度
- 如果接收端缓冲区已满, 会将窗口设置为 0.
此时发送端不再发送数据, 而是会定期发送一个 窗口探测数据段, 来获取接收方的窗口大小信息
拥塞机制 (安全机制)
TCP 连接建立初, 如果突然发送大量数据, 就很可能出现问题
处理方式: 慢启动机制
先发送少量数据, 探测网络拥堵状态, 再决定以多大的速度进行数据传输
引入概念 – 拥塞窗口 cwnd
- 发送刚开始时, 定义 拥塞窗口大小为 1
- 每次收到一个 ACK, 拥塞窗口大小加 1 (以传输轮次为标准, 其实每一轮拥塞窗口的大小是翻倍的)
- 每次发送数据时, 将上次 ACK 中缓冲区窗口大小 和 拥塞窗口大小做比较, 取较小值作为实际发送的窗口大小 (实际发送数据的速度)
慢启动的启动速度慢, 但是增长速度快 (指数级别)
引入概念 – 慢启动的阈值 (ssthresh)
- 当拥塞窗口超过这个阈值时, 将按照线性方式进行增长
- 当 TCP 开始启动时, ssthresh 等于窗口最大值
- 每次超时重发的时候, ssthresh 减到当前拥塞窗口大小的一半 (ssthresh = cwnd [网络拥塞时])
并且拥塞窗口大小, 会置回 1 (cwnd = 1)
延迟应答(效率机制)
接收到数据时, 如果接收数据的主机立刻返回 ACK, 则返回的窗口会较小 (返回过程和新数据的传输过程是需要耗时的, 接收数据的主机已经处理了很多数据). 因此我们可以慢一些再返回数据
此外会对 慢一些 进行限制, 防止太慢让发送端误以为丢包, 进行超时重传了
- 数量限制: 每个 N 条就返回一次 ACK
- 时间限制: 超过最大延迟时间 (MSL) 就返回一次 ACK
- 一般 N 取2, MSL 取 200ms
捎带应答(效率机制)
ACK 随接收端返回的数据一同返回
TCP 的性质 : 大小限制
- 创建 Socket 时, 同时会在操作系统内核中创建一个发送缓冲区和一个接收缓冲区
- 调用 write 时, 会将数据先写入发送缓冲区
- 如果发送的数据太长, 会被拆分成多个 TCP 的数据包发出
- 如果发送的数据太短, 会在缓冲区等待长度差不多, 或者其他时机再发出
- 接收数据时, 数据也是从网卡驱动程序到达内核的接收缓冲区
- 应用程序调用 read , 从接收缓冲区拿数据
- 由于缓冲区的存在, TCP 程序的读写操作不需要一一匹配
- 写1000字节的数据, 可以写一次大小1000字节, 也可以写100次大小100的字节
- 读同理
粘包问题
包 : 应用层数据包
站在传输层角度, TCP 时一个一个的报文过来的, 按照序号有序排放在缓冲区中
站在应用层角度, 能看到的只是一串连续的字节数据
粘包问题就是接收端无法区分应用层数据包之间的边界, 导致读取多个完整或不完整数据包的问题
解决粘包问题的关键是明确数据包的边界
- 数据包定长: 按照固定大小读取
- 数据包变长:
- 在包头位置约定总包长度
- 在包与包之间, 使用明确分隔符
TCP 异常情况
进程终止 / 程序重启 : 进程结束时会释放文件描述符, 此时仍可以发送 FIN , 即和正常关闭无区别
机器掉电 / 网线断开 : 接收端会认为连接正常, 仍会进行数据收发
当接收端发数据时, 感知到发送端已断开连接, 就会触发 reset
如果接收端不进行发数据操作, 也会有保活机制定期检测对方的状态
基于 TCP 的应用层协议
HTTP / HTTPS / SSH / Telnet / FTP / SMTP
UDP 协议
UDP 特性 : 面向数据报
应用层交给UDP多长的报文, UDP 原样发送, 既不会拆包, 也不会合并
基于 UDP 的应用层协议
NFS / TFTP / DHCP / BOOTP / DNS
TCP 和 UDP 的应用场景
- TCP 用于可靠传输情况. eg: 文件传输, 重要状态更新 …
- UDP 用于高速传输, 对实时性要求高的通信领域. eg: 广播, 视频传输, 早期 QQ
网络层
网络层协议进行路径选择
IP 协议
协议头格式
标识: 唯一标识 主机发送的报文. 同一报文在链路层的分片 标识相同 (id 相同)
3位标志字段
- 保留
- 禁止分片 (1 – 禁止)
- 更多分片 (类似于结束标志, 0 – 结束)
分片偏移: 分片相对于原始 IP 报文开始处的偏移
生存时间 TTL: 数据到达目的地的最大报文跳数
协议: 表示上层协议是什么
数据链路层
以太网
以太网是一种技术标准, 应用于数据链路层和物理层, 而不是一个具体的网络
以太网帧格式
地址: MAC 地址
类型: 分为三种
- IP
- ARP
- PARP
MTU 最大传输单元
不同数据链路层对物理层, 产生不同的限制
如果一个数据包从以太网 路由到 拨号链路上, 数据包长度大于 拨号链路的 MTU, 则数据包就要进行分片操作
ARP 协议
介于网络层和数据链路层之间的协议
作用: 建立主机 IP 和 MAC 地址的映射关系
