Posix API与网络协议栈实现原理

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: Posix API与网络协议栈实现原理

一、Posix简介

1.1 什么是Posix(Portable Operating System Interface of UNIX )

Posix,意为可移植操作系统接口,它定义了操作系统应该为应用程序提供的接口标准。

1.2 作用

Posix标准旨在期望获得源代码级别的软件可移植性。比如:在linux下写的程序,预期在Windows下也能正常运行。

二、Posix网络API

2.1网络编程客户端和服务端常用API

2.2 客户端和服务端代码示例
2.2.1 服务端server.cpp
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <stdlib.h>
#include <netdb.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
int main(int argc,char *argv[])
{
  if (argc != 2)
  {
    printf("Using:./server port\nExample:./server 5005\n\n"); return -1;
  }
  // 第1步:创建服务端的socket。
  int listenfd;
  if ( (listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) 
  { 
    perror("socket"); 
    return -1; 
  }
  // 第2步:把服务端用于通信的地址和端口绑定到socket上。
  struct sockaddr_in servaddr;    // 服务端地址信息的数据结构。
  memset(&servaddr,0,sizeof(servaddr));
  servaddr.sin_family = AF_INET;  // 协议族,在socket编程中只能是AF_INET。
  servaddr.sin_addr.s_addr = htonl(INADDR_ANY);          // 任意ip地址。
  //servaddr.sin_addr.s_addr = inet_addr("192.168.190.134"); // 指定ip地址。
  servaddr.sin_port = htons(atoi(argv[1]));  // 指定通信端口。
  if (bind(listenfd,(struct sockaddr *)&servaddr,sizeof(servaddr)) != 0 )
  { 
    perror("bind"); 
    close(listenfd); 
    return -1; 
  }
  // 第3步:把socket设置为监听模式。
  if (listen(listenfd,5) != 0 ) 
  { 
    perror("listen"); 
    close(listenfd); 
    return -1; 
  }
  // 第4步:接受客户端的连接。
  int  clientfd;                  // 连上来的客户端socket。
  int  socklen = sizeof(struct sockaddr_in); // struct sockaddr_in的大小
  struct sockaddr_in clientaddr;  // 客户端的地址信息。
  clientfd = accept(listenfd, (struct sockaddr *)&clientaddr, (socklen_t*)&socklen);
  printf("client (%s) connect server success。。。\n", inet_ntoa(clientaddr.sin_addr));
  // 第5步:与客户端通信,接收客户端发过来的报文后,将该报文原封不动返回给客户端。
  char buffer[1024];
  // memset(buffer, 0, 1024);
  while (1)
  {
      int ret;
      memset(buffer, 0, sizeof(buffer));
      // 接收客户端的请求报文。
      if ( (ret = recv(clientfd, buffer, sizeof(buffer), 0)) <= 0) 
      {
         printf("ret = %d , client disconected!!!\n", ret); 
         break;   
      }
      printf("recv msg: %s\n", buffer);
      // 向客户端发送响应结果。
      if ( (ret = send(clientfd, buffer, strlen(buffer), 0)) <= 0) 
      { 
        perror("send"); 
        break; 
      }
      printf("response client: %s success...\n", buffer);
  }
  // 第6步:关闭socket,释放资源。
  close(listenfd); 
  close(clientfd); 
  return 0;
}
2.2.2 客户端client.cpp
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <stdlib.h>
#include <netdb.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
int main(int argc,char *argv[])
{
  if (argc != 3)
  {
    printf("Using:./client ip port\nExample:./client 127.0.0.1 5005\n\n"); return -1;
  }
  // 第1步:创建客户端的socket。
  int sockfd;
  if ( (sockfd = socket(AF_INET,SOCK_STREAM,0))==-1) 
  { 
    perror("socket"); 
    return -1; 
  }
  // 第2步:向服务器发起连接请求。
  struct hostent* h;
  if ( (h = gethostbyname(argv[1])) == 0 )   // 指定服务端的ip地址。
  { printf("gethostbyname failed.\n"); close(sockfd); return -1; }
  struct sockaddr_in servaddr;
  memset(&servaddr,0,sizeof(servaddr));
  servaddr.sin_family = AF_INET;
  servaddr.sin_port = htons(atoi(argv[2])); // 指定服务端的通信端口。
  memcpy(&servaddr.sin_addr,h->h_addr,h->h_length);
  // 向服务端发起连接清求。
  if (connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) != 0)  
  { 
    perror("connect"); 
    close(sockfd); 
    return -1; 
  }
  char buffer[1024];
  // 第3步:与服务端通信,发送一个报文后等待回复,然后再发下一个报文。
  for (int i = 0; i < 3; i++)
  {
    int ret;
    memset(buffer, 0, sizeof(buffer));
    sprintf(buffer, "这是第[%d]条消息!", i+1);
    if ( (ret = send(sockfd, buffer, strlen(buffer),0)) <= 0) // 向服务端发送请求报文。
    { 
      perror("send"); 
      break; 
    }
    printf("发送:%s\n", buffer);
    memset(buffer,0,sizeof(buffer));
    if ( (ret = recv(sockfd, buffer, sizeof(buffer), 0)) <= 0) // 接收服务端的回应报文。
    {
      printf("ret = %d error\n", ret); 
      break;
    }
    printf("从服务端接收:%s\n", buffer);
    sleep(1);
  }
  // 第4步:关闭socket,释放资源。
  close(sockfd);
}
运行结果:

2.3 着重分析以下几个函数
2.3.1 socket函数
int socket(int domain, int type, int protocol);

调用socket()函数会创建一个套接字(socket)对象。套接字由两部分组成,文件描述符(fd)和 TCP控制块(Tcp Control Block,tcb) 。Tcb主要包括关系信息有网络的五元组(remote IP,remote Port, local IP, local Port, protocol),一个五元组就可以确定一个具体的网络连接。

2.3.2 listen 函数
listen(int listenfd, backlog);

服务端在调用listen()后,就开始监听网络上连接请求。第二个参数 backlog, 在Linux是指全连接队列的长度,即一次最多能保存 backlog 个连接请求。

2.3.3 connect 函数

客户端调用connect()函数,向指定服务端发起连接请求。

2.3.4 accept 函数
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);

accept()函数只做两件事,将连接请求从全连接队列中取出,给该连接分配一个fd并返回。

2.3.5 三次握手过程分析

三次握手与listen/connect/accept三个函数有关,这里放到一起进行描述。

  1. 客户端调用 connect 函数,开始进入三次握手。客户端发送syn包,以及带着随机的seq;
  2. 服务端listen函数监听到有客户端连接,listen函数会在内核协议栈为该客户端创建一个Tcb控制块,并将其加入到半连接队列。服务端在收到syn包后,会给客户端恢复ack和syn包;
  3. 客户端收到服务端的ack和syn后再次恢复ack,连接建立成功。
  4. 服务端在收到客户端的ack后,会将该客户端对应的Tcb数据从半连接队列移动到全连接队列。只要全连接队列中有数据就会触发accept,返回连接成功的客户端fd、IP以及端口。此时,Tcb完整的五元组构建成功。
2.3.6 常见面试问题
  • 为什么要三次握手?
    答:因为一个完整的TCP连接需要双方都得到确认,客户端发送请求和收到确认需要两次;服务端发送请求和收到确认需要两次,当中服务回复确认和发送请求合并为一次总共需要3次;才能保证双向通道是通的。
  • 一个服务器的端口数是65535,为何能做到一百万的连接?
    答:主要是因为一条连接是由五元组所组成,所以一个服务器的连接数是五个成员数的乘积。
  • 如何应对Dos(Deny of Service,拒绝服务)攻击
    答:Dos攻击就是利用三次握手的原理,模拟客户端只向服务器发送syn包,然后耗尽被攻击对象的资源。比较多的做法是利用防火墙,做一些过滤规则
2.4 send/recv 函数

至此,客户端与服务端已经成功建立连接,就可以相互通信了。

send/recv 函数主要负责数据的收发。

2.4.1 过程分析
  • send函数:负责将数据从用户空间拷贝到内核(具体是拷贝到该连接对应的Tcb控制块中的发送缓冲区)。注意:send函数返回并不意味着数据已成功发送,因为数据在到达内核缓冲区后,内核会根据自己的策略决定什么时候将数据发出。
  • recv函数:负责将数据从内核缓冲区拷贝到用户空间。同理,数据也显示到达该连接对应的Tcb控制块的接受缓冲区。
2.4.2 常见面试问题
  • 如何解决Tcp的粘包问题?
    答:(1) 在包头上添加一个数据包长度的字段,用于数据的划分,实际项目中这个也用的最多;(2)包尾部加固定分隔符;
  • Tcp如何保证顺序到达?
    答:顺序到达是由于TCP的延迟ACK的机制来保证的,TCP接收到数据并不是立即回复而是经过一个延迟时间,回复接收到连续包的最大序列号加1。如果丢包之后的包都需要重传。在弱网情况下这里就会有实时性问题和带宽占用的问题;
2.5 close 函数

在服务器与客户端建立连接之后,会进行一些读写操作,完成读写操作后我们需要关闭相应的socket,好比操作完打开的文件要调用fclose关闭打开的文件一样。close过程涉及到四次挥手的全过程

2.5.1 四次挥手流程:
  1. 客户端调用close函数,内核会发送fin包,客户端进入fin_wait1状态;
  2. 服务端收到fin包回复ack,客户端进入close_wait状态。此时,客户客户端往服务端发送的通道就关闭了,因为Tcp是全双工的,服务端还可以向客户端发数据。
  3. 客户端收到ack,进入到fin_wait2状态;
  4. 服务端发送完数据,发送fin包,服务端进入last_ack状态;
  5. 客户端收到fin包后,回复ack,进入到time_wait状态;
  6. 服务端收到ack,双方连接正常关闭。

注意:close操作只是让相应socket描述字的引用计数-1,只有当引用计数为0的时候,才会触发TCP客户端向服务器发送终止连接请求。

2.5.2 双方同时调用close

2.5.2 常见面试题
  • time_wait 作用?
    答:防止最后一个ACK没有顺利到达对方,超时重新发送ack。time_wait时常一般是120s可以修改。
  • 服务器掉线重启出现端口被占用怎么办?
    答:其实主要是由于还处于time_wait状态,端口并没有真正释放。这时候可以设置SO_REUSEADDR属性,保证掉线能马上重连。

3. Tcp状态机

文章参考于<零声教育>的C/C++linux服务期高级架构

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
6天前
|
并行计算 安全 网络协议
探索未来网络:量子互联网的原理与应用
本文深入探讨了量子互联网的基本概念、技术原理及其潜在应用。通过对量子纠缠、量子叠加和量子隐形传态等核心概念的解释,文章展示了量子互联网如何利用量子力学特性来实现超高速、超高安全性的通信。此外,还讨论了量子互联网在金融、医疗、国防等领域的应用前景,以及当前面临的技术挑战和未来的发展方向。
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的奥秘:探索神经网络的核心原理
本文将深入浅出地介绍深度学习的基本概念,包括神经网络的结构、工作原理以及训练过程。我们将从最初的感知机模型出发,逐步深入到现代复杂的深度网络架构,并探讨如何通过反向传播算法优化网络权重。文章旨在为初学者提供一个清晰的深度学习入门指南,同时为有经验的研究者回顾和巩固基础知识。
43 11
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的奥秘:探索神经网络背后的原理与实践
【9月更文挑战第29天】本文将带你深入理解深度学习的核心概念,从基础理论到实际应用,逐步揭示其神秘面纱。我们将探讨神经网络的工作原理,并通过实际代码示例,展示如何构建和训练一个简单的深度学习模型。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供宝贵的知识和技能。
15 2
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
深度剖析深度神经网络(DNN):原理、实现与应用
本文详细介绍了深度神经网络(DNN)的基本原理、核心算法及其具体操作步骤。DNN作为一种重要的人工智能工具,通过多层次的特征学习和权重调节,实现了复杂任务的高效解决。文章通过理论讲解与代码演示相结合的方式,帮助读者理解DNN的工作机制及实际应用。
|
22天前
|
网络协议 Linux 应用服务中间件
Socket通信之网络协议基本原理
【9月更文挑战第14天】网络协议是机器间交流的约定格式,确保信息准确传达。主要模型有OSI七层与TCP/IP模型,通过分层简化复杂网络环境。IP地址全局定位设备,MAC地址则在本地网络中定位。网络分层后,数据包层层封装,经由不同层次协议处理,最终通过Socket系统调用在应用层解析和响应。
|
23天前
|
网络协议 网络架构 数据格式
TCP/IP基础:工作原理、协议栈与网络层
TCP/IP(传输控制协议/互联网协议)是互联网通信的基础协议,支持数据传输和网络连接。本文详细阐述了其工作原理、协议栈构成及网络层功能。TCP/IP采用客户端/服务器模型,通过四个层次——应用层、传输层、网络层和数据链路层,确保数据可靠传输。网络层负责IP寻址、路由选择、分片重组及数据包传输,是TCP/IP的核心部分。理解TCP/IP有助于深入掌握互联网底层机制。
113 2
|
2月前
|
JavaScript 网络协议 API
【Azure API 管理】Azure APIM服务集成在内部虚拟网络后,在内部环境中打开APIM门户使用APIs中的TEST功能失败
【Azure API 管理】Azure APIM服务集成在内部虚拟网络后,在内部环境中打开APIM门户使用APIs中的TEST功能失败
|
2月前
|
缓存 网络协议 算法
网络编程原理
网络编程原理
|
2月前
|
存储 监控 安全
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
深度学习中的卷积神经网络(CNN)原理与实践
【8月更文挑战第31天】在人工智能的浪潮中,深度学习技术以其强大的数据处理能力脱颖而出。本文将深入浅出地探讨卷积神经网络(CNN)这一核心组件,解析其在图像识别等领域的应用原理,并通过Python代码示例带领读者步入实践。我们将从CNN的基本概念出发,逐步深入到架构设计,最后通过一个简易项目展示如何将理论应用于实际问题解决。无论你是深度学习的初学者还是希望深化理解的实践者,这篇文章都将为你提供有价值的洞见和指导。
下一篇
无影云桌面