Posix API与网络协议栈的实现原理

简介: Posix API与网络协议栈的实现原理


面试中协议栈常问的点

1. TCP三次握手过程?

2. TCP四次挥手过程?

3. 为什么建立连接需要三次握手,而断开 连接需要四次握手?

4. TIME_WAIT状态持续时间及原因

5.大量的time_wait于close_wait

6. 超时重传和快速重传

7. TCP首部长度,有哪些字段

8. TCP在listen时的参数backlog的意义

9. Accept发生在三次握手的哪一步?

10. 三次握手过程中有哪些不安全性

11.TCP与UDP的区别

udp主要用在哪里:

1.大量数据传输,(比如迅雷vip,大量下载的时候其他人会很卡,因为udp没有拥塞控制)

2.实时性。

3.dns协议。(浏览器打开www.baidu.com获取ip地址的过程采用的是udp。

udp的缺点有哪些:

1.不稳定                          

建立连接的过程:

udp不建立连接,没有三次握手,也可以调用connect()函数,udp的这个connect()函数没有发送具体的数据,仅此尝试一下这条链路是不是通的,对方的这个ip地址和端口号有没有存在。如果返回是个正数成功的话,那么接下来调用sendto()成功的概率要比不调用connect()高很多。

tcp在发送数据之前是要调用connect()函数建立连接的,服务器必须要处在listen()的状态才能接收连接。

我们所调用的这些API都是在应用程序里面调用的。三次握手(四次挥手)的过程是发生在TCP/IP协议栈和协议栈之间。这是协议栈帮忙实现的,跟我们的应用程序没有关系。

send()这个函数干的事情就是将数据从用户空间copy到协议栈TCB里面,一个fd对应一个TCB,通过fd,找到对应的TCB。再次调用send()也只是继续copy到协议栈里面的send_buffer里面。 至于这个数据怎么到对方的协议栈里面的,不是应用程序管的,是tcp协议栈自己去做的,就是需要tcp的确认机制,慢启动,拥塞控制...等。

                                 commit_skb()

调用connect()函数的时候,此时应用程序会把本机的ip和port。copy到协议栈里面,协议栈会自己准备一个包(SYN)(TCP头八个状态位里面把SYN状态位置1),然后把这个数据发给对端。服务端会返回一个ACK 和一个SYN。并且保存服务端的一些信息(因为服务端只有一个,客户端可以有n多个) ,当第三次握手来了之后,服务端会拿着这个信息和去半连接队列里面对比有没有这个节点,然后再把这个节点拿到全连接队列里面来(这个节点不是拷贝,是移动)。(进入全连接队列的前提条件是第三次握手过来,并且在半连接队列里面有,这两个条件同时满足,才进入全连接队列)。accept()这个函数只干两件事情,1. 从accept队列里面拿出一个节点,2. 位这个节点分配一个与之对应的fd,然后返回这个fd。(如果此时这个全连接队列里面没有节点,accept会进入条件等待,等待全连接队列里面有节点,此时会进入阻塞状态)。如果此时这个fd被设置为非阻塞fcntl(fd,noblock),此时accept就会立即返回-1。

第三次握手的时候通过什么找到半连接队列里面的对应的节点?  

通过五元组(sip , dip , sport , dport ,porto),这些信息在tcp/ip协议头和ip协议头里面都有。目的ip和目的端口都是一样的,只需要拿sip和sport对比一下就知道了。

半连接队列里面的节点也叫做TCP控制块(TCB)

半连接队列节点的生命周期它有多长?

tcp的(11个状态)状态是存在半连接队列的节点里面的,伴随着连接过程的整个生命周期。

脏数据:  多个客户端同时sendto给一个fd的时候,recvfrom的数据可能会乱序。 一个fd对应一个recvbuffer。   在这个recvbuffer里面无法区分数据是哪个客户端来的。

怎么解决udp并发的问题:                       模拟tcp

1. recvfrom(&addr) 接收到第一帧的信息,拿到他的ip地址和端口号。

2. 新建一个fd,调用sendto(fd ,...) 给对端发。 出现了一个fd对应一个客户端的现象。

如果接收到第一帧包不对的话就返回,然后超时重发。

TCP是如何保证顺序的

TCP的超时重传机制,每发送一个包,会启动一个200ms的定时器。比如当检测到3号包没到的话,将重新发送3号以及后面的所有包。(这也是tcp缺点之一: 确认时间周期长,重传的时候会重传那些即使已经收到的包---重发的次数有点多) ack就是一个数字,可以理解为是多少号包以前的全部收到了。      tcp会延迟发送ack

TCP的超时重传只会在发送方启动一个定时器,对方是不会启动定时器的,如果对方回的这个ACK丢失了,那么也会引起发送方的超时重传。

tcp一开始是慢启动的,最先是指数级增长,到一定程度后线性增长,当线性增长到达最大值之后砍一半,继续线性增长,后面这个过程叫拥塞控制(发包的数量)。

断开连接

调用close、shutdown 、connect、send这四个函数的时候会有一个数据发送的过程

当对端close的时候,epoll里面就会触发EPOLLRDHUP。如果两端都close了,自己也发送出去了FIN并且也收到了ACK,那么此时如果这个fd还在EPOLL里面。那么这一步就会触发EPOLLHUP

大量的time_wait怎么办?

首先是主动调用close(),主动方才有time_wait。如果作为服务方,出现大量的time_wait是不正常的现象(你的服务器代码里面出现了主动调用close的现象)。(先检查你的逻辑看看调用close的地方是不是正常的,如果不是正常的就把业务代码改一下。如果是正常的,可以通过setsockopt(REUSE),设置为重用。当这个TCB设置为重用之后,这个TCP不会被释放,会再次拿来使用。能够在一定限度上去减少time_wait。

time_wait的作用:

保证最后一个fin接收,对端能够收到最后一个ack,当对端发送最后一个fin的时候对端会启动一个定时器,如果ack没有及时收到,fin会进行重发,time_wait的作用就是当有fin过来的时候给对端回ack , 仅此一个作用。

如果没有time_wait:就会丢失最后一个ack,time_wait直接结束了,对应的tcb控制块被释放掉了,对方再发fin过来的时候没有tcb做响应,回不了数据,就会出现对端一直处于last_ack状态一直不会结束。

大量的close_wait怎么办?

当recv返回0,可以判断对端关闭了。此时进入close_wait状态。这时候出现大量的close_wait状态是因为服务端调用close这个过程延迟了。(服务端知道客户端断开连接了,但是在服务端调用close之前可能需要对客户端释放一些信息,还需要向客户端发送一些数据,这个逻辑代码可能有点长,延迟了close的调用)。(还有一些特殊情况就是你在服务端没有调用close)

这种时候就要看看你recv返回0之后你调用close是不是正确的时机。当recv返回0之后应该是立即调用close。然后把业务代码的解析和释放可以抛给另外一个线程,把这个fd(客户端)的信息抛给另外一个线程去释放业务代码。不应该在recv返回0这个流程里面处理。可以做成异步处理。

fin_wait_2状态能不能终止?   (大量fin_wait_2怎么解)

比如现在进入了fin_wait_2状态,等待着对方调用close,但是对方迟迟不调用close。所以此时出现了很多的这种close_wait 和 fin_wait_2。 (答案是没有) 。 当客户端调用完close之后,客户端能做的事情已经做完了,此时需要等待对方调用close。在逻辑代码上面已经没办法处理了。真的要强行禁止,只能kill。  

但是站在客户端的层次,一个连接出现一个fin_wait_2影响不大,再建立一个连接(connect)发送数据这也是OK的。但是这样周而复始就会出现大量的fin_wait_2的状态,当太多的时候只能kill掉或者通知对方处理,否则无解

同时close

当应用层发出关闭命令时,两端均从ESTABLISHED变为FIN _ WAIT_1。

这将导致双方各发送一个 FIN,两个FI N经过网络传送后分别到达另一端。收到FIN后,状态由F I N_WAIT_1变迁到 C L O S I N G,并发送最后的ACK。当收到最后的 ACK时,状态变化为TIME _ WAIT。

网路协议栈

Send缓冲区

send/recv

Udp数据帧

UDP协议

ARP协议

ICMP协议

总结:

服务端:

socket() : 文件系统分配一个fd , 并且给他分配一个TCB。

bind() :为TCB绑定一个本地ip地址和端口号。

listend() :把这个TCB置为一个Listen状态

accept() :为全连接队列里面取出一个节点。并为他分配一个fd

recv () : 从TCB的recvBuffer里面把数据拷贝出来。

send() :把数据copy到fd对应的sendBuffer里面。

close() : 1   准备一个fin包放到sendBuffer里面去,  2 回收fd

剩下的就跟应用程序没关系了。由协议栈决定。

客户端:

connect() : 准备一个SYN包交给协议栈发出去,等待三次握手完成之后再返回。

连接不成功会置错误值。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
3月前
|
机器学习/深度学习 存储 算法
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
反向传播算法虽是深度学习基石,但面临内存消耗大和并行扩展受限的问题。近期,牛津大学等机构提出NoProp方法,通过扩散模型概念,将训练重塑为分层去噪任务,无需全局前向或反向传播。NoProp包含三种变体(DT、CT、FM),具备低内存占用与高效训练优势,在CIFAR-10等数据集上达到与传统方法相当的性能。其层间解耦特性支持分布式并行训练,为无梯度深度学习提供了新方向。
132 1
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
|
2月前
|
监控 应用服务中间件 Linux
掌握并发模型:深度揭露网络IO复用并发模型的原理。
总结,网络 I/O 复用并发模型通过实现非阻塞 I/O、引入 I/O 复用技术如 select、poll 和 epoll,以及采用 Reactor 模式等技巧,为多任务并发提供了有效的解决方案。这样的模型有效提高了系统资源利用率,以及保证了并发任务的高效执行。在现实中,这种模型在许多网络应用程序和分布式系统中都取得了很好的应用成果。
89 35
|
2月前
|
机器学习/深度学习 算法 测试技术
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
80 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
|
4月前
|
机器学习/深度学习 数据可视化 PyTorch
深入解析图神经网络注意力机制:数学原理与可视化实现
本文深入解析了图神经网络(GNNs)中自注意力机制的内部运作原理,通过可视化和数学推导揭示其工作机制。文章采用“位置-转移图”概念框架,并使用NumPy实现代码示例,逐步拆解自注意力层的计算过程。文中详细展示了从节点特征矩阵、邻接矩阵到生成注意力权重的具体步骤,并通过四个类(GAL1至GAL4)模拟了整个计算流程。最终,结合实际PyTorch Geometric库中的代码,对比分析了核心逻辑,为理解GNN自注意力机制提供了清晰的学习路径。
376 7
深入解析图神经网络注意力机制:数学原理与可视化实现
|
5月前
|
网络协议 安全 网络安全
应用程序中的网络协议:原理、应用与挑战
网络协议是应用程序实现流畅运行和安全通信的基石。了解不同协议的特点和应用场景,以及它们面临的挑战和应对策略,对于开发者和用户都具有重要意义。在未来,随着技术的不断发展,网络协议也将不断优化和创新,为数字世界的发展提供更强大的支持。
151 1
|
6月前
|
机器学习/深度学习 算法 PyTorch
深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现
软演员-评论家算法(Soft Actor-Critic, SAC)是深度强化学习领域的重要进展,基于最大熵框架优化策略,在探索与利用之间实现动态平衡。SAC通过双Q网络设计和自适应温度参数,提升了训练稳定性和样本效率。本文详细解析了SAC的数学原理、网络架构及PyTorch实现,涵盖演员网络的动作采样与对数概率计算、评论家网络的Q值估计及其损失函数,并介绍了完整的SAC智能体实现流程。SAC在连续动作空间中表现出色,具有高样本效率和稳定的训练过程,适合实际应用场景。
1424 7
深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现
|
7月前
|
前端开发 网络协议 安全
【网络原理】——HTTP协议、fiddler抓包
HTTP超文本传输,HTML,fiddler抓包,URL,urlencode,HTTP首行方法,GET方法,POST方法
|
7月前
|
域名解析 网络协议 关系型数据库
【网络原理】——带你认识IP~(长文~实在不知道取啥标题了)
IP协议详解,IP协议管理地址(NAT机制),IP地址分类、组成、特殊IP地址,MAC地址,数据帧格式,DNS域名解析系统
|
7月前
|
存储 JSON 缓存
【网络原理】——HTTP请求头中的属性
HTTP请求头,HOST、Content-Agent、Content-Type、User-Agent、Referer、Cookie。
|
7月前
|
安全 算法 网络协议
【网络原理】——图解HTTPS如何加密(通俗简单易懂)
HTTPS加密过程,明文,密文,密钥,对称加密,非对称加密,公钥和私钥,证书加密