select实现高并发服务器

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介:   前言:周末学了两天网络编程,把之前的不懂一些问题基本掌握了,例如TCP状态转换图、close和shutdown函数的区别、select函数等,今天分享给大家。   一、网络编程基础知识   在写代码之前,需要简单介绍一下基础知识。

  前言:周末学了两天网络编程,把之前的不懂一些问题基本掌握了,例如TCP状态转换图、close和shutdown函数的区别、select函数等,今天分享给大家。

  一、网络编程基础知识

  在写代码之前,需要简单介绍一下基础知识。

  1. 网络字节序

   小端法(本地):低地址存低字节、高地址存高字节(简称高存高、低存低)

   大端法(网络):高存底,低存高

  可能有人会问为啥不统一呢?历史遗留问题:IBM最开始使用数据存储使用大端法,后来微软非要反着来。

  所以通信必须先统一字节序,涉及4个函数,如下:(函数原型都是通过man手册查的) 

  #include <arpa/inet.h>

  uint32_t htonl(uint32_t hostlong);

  uint16_t htons(uint16_t hostshort);

  uint32_t ntohl(uint32_t netlong);

  uint16_t ntohs(uint16_t netshort);

  说明:h代表本地,n代表网络,l表示32长整数(也是历史遗留问题,最开始没有int型),s表示16位短整型

  例如htonl函数:就是将本地字节序转为网路字节序,并且是长整数,一般用在ip转换,s则用在端口。

  2.sockaddr地址结构

通用地址结构体:
struct sockaddr {
sa_family_t sa_family;//协议族 AF_INET AF_INET6
char sa_data[14];//1-2 端口号 3-6 ip地址 7-14 预留
}

ipv4专用地址结构:

struct sockaddr_in {
sa_family_t sin_family; /* address family: AF_INET */
in_port_t sin_port; /* port in network byte order */
struct in_addr sin_addr; /* internet address */
};

/* Internet address. */
struct in_addr {
uint32_t s_addr; /* address in network byte order */
};

  通用的使用麻烦,弄一个专用的方便了,但是bind函数原型如下:

  int bind(int sockfd, const struct sockaddr *addr,socklen_t addrlen);

  要传通用地址结构,所以使用时就要进行强转。

  其实,还应该介绍一下socket、bind、listen等函数,但是觉得很简单就先不介绍了。

  二、三次握手和四次挥手

  这篇主要介绍TCP,TCP经常被问到的问题就是三次握手,应该大部分人都知道,但四次挥手应该很少人知道,确很重要对理解一下概念和函数很有帮助。

  1.三次握手

  三次握手如下图:(截图《unix网络编程》,简称UNP,下面还有有图出自这本书)

  

  说明:客户端发送SYN请求,服务器收到之后,返回ACK应答并携带SYN,客户端收到之后发送ACK应答。更多解释可以参考UNP。

  2.四次挥手

  四次挥手如下图,出自UNP:

  

  

  说明:客户端发起FIN关闭请求,服务器收到之后回应ACK,到这完成了“半关闭”,就是关了一半。为啥只关了一半?其实客户端、服务器各有一个描述符、两个缓冲区(读缓冲、写缓冲),关的只是一个缓冲区。

  服务端再发FIN,客户端收到之后再回应ACK应答。

  理解四次挥手,对close和shutdown函数的区别会有很好的理解。

  三、TCP状态转换图

  理解三次握手、四次挥手,对于面试、跟人装逼很有帮助,开玩笑了。但理解TCP状态转换图对编程很有帮助。

  TCP状态转换图如下,也出自UNP:

  

  说明:如图释一样,客户端状态走向,虚线服务器的走向,要分别沿着两条线去看,并结合着三次握手和四次挥手去看。在纸上画过2个结合的图,但是没时间在电脑上,有需要的话联系我吧。

  • shutdowan、close函数区别:

  shutdown原型:int shutdown(int sockfd, int how);

  参数说明:

  sockfd:文件描述符

  how:定义三个宏

  SHUT_RD  关闭读端

  SHUT_WR 关闭写端

  SHUT_RDWR 关闭读写端

  close原型:int close(int fd); 参数文件描述符。

  还有一个重要区别:shutdown在关闭多个文件描述符时,采用全关闭方法。close只关闭一个,相当于“-1”操作。

  四、select函数介绍

  select函数非常复杂,一点点解释吧,函数原型如下:

  int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);

  参数说明:

  nfds:监听的所有文件描述符中的最大描述符+1(其实内核是轮询查的)

  readfds:读文件描述符监听集合

  writefds:写文件描述符监听集合

  exceptfds:异常文件描述符监听集合

  timeout:有几个值如下:

      大于0:设置监听超时时长

      NULL:阻塞监听

      0:非阻塞监听

  函数返回值:

       大于0:所有监听集合(3个)中,满足对应事件的总数

        0:没有满足的

       -1:出错error

  看第二个、三个、四个参数的类型fd_set,内核为操作这种集合定义了四个函数,如下:

  void FD_CLR(int fd, fd_set *set);      //将一个文件描述符从集合中移除

  int FD_ISSET(int fd, fd_set *set);  //判断一个文件描述符是否在一个集合中,返回值:在 1,不在 0
void FD_SET(int fd, fd_set *set);  //将监听的文件描述符,添加到监听集合中
void FD_ZERO(fd_set *set);    //清空一个文件描述符集合

   五、包裹函数

  这个概念来自UNP,先介绍包裹函数的定义,约定的包裹函数名是实际函数的首字母大写形式。例如,如下:

  Socket(int family, int type, int protocol)

  为什么要怎么做呢?原因如下:

  (1) 检查返回值

  (2)独立错误检查模块 

  六、用select实现并发服务器

  •  服务端

  socket、bind、listen这些都没变化,但都用的包裹函数形式,封装在wrap.c中,从accept开始就要开始处理了,程序中都有注释,不明白在私信我,先主要讲解一下,调用FD_ZERO、FD_SET设置fd_set集合,再监听连接、再监听数据传输。代码如下:

  

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <arpa/inet.h>
#include <ctype.h>

#include "wrap.h"

#define SERV_PORT 6666

int main(int argc, char *argv[])
{
    int i, j, n, maxi;

    int nready, client[FD_SETSIZE];                 /* 自定义数组client, 防止遍历1024个文件描述符  FD_SETSIZE默认为1024 */
    int maxfd, listenfd, connfd, sockfd;
    char buf[BUFSIZ], str[INET_ADDRSTRLEN];         /* #define INET_ADDRSTRLEN 16 */

    struct sockaddr_in clie_addr, serv_addr;
    socklen_t clie_addr_len;
    fd_set rset, allset;                            /* rset 读事件文件描述符集合 allset用来暂存 */

    listenfd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1;
    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));

    bzero(&serv_addr, sizeof(serv_addr));
    serv_addr.sin_family= AF_INET;
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    serv_addr.sin_port= htons(SERV_PORT);

    Bind(listenfd, (struct sockaddr *)&serv_addr, sizeof(serv_addr));
    Listen(listenfd, 128);

    maxfd = listenfd;                                           /* 起初 listenfd 即为最大文件描述符 */

    maxi = -1;                                                  /* 将来用作client[]的下标, 初始值指向0个元素之前下标位置 */
    for (i = 0; i < FD_SETSIZE; i++)
        client[i] = -1;                                         /* 用-1初始化client[] */

    FD_ZERO(&allset);
    FD_SET(listenfd, &allset);                                  /* 构造select监控文件描述符集 */

    while (1) {   
        rset = allset;                                          /* 每次循环时都从新设置select监控信号集 */
        nready = select(maxfd+1, &rset, NULL, NULL, NULL);
        if (nready < 0)
            perr_exit("select error");

        if (FD_ISSET(listenfd, &rset)) {                        /* 说明有新的客户端链接请求 */

            clie_addr_len = sizeof(clie_addr);
            connfd = Accept(listenfd, (struct sockaddr *)&clie_addr, &clie_addr_len);       /* Accept 不会阻塞 */
            printf("received from %s at PORT %d\n",
                    inet_ntop(AF_INET, &clie_addr.sin_addr, str, sizeof(str)),
                    ntohs(clie_addr.sin_port));

            for (i = 0; i < FD_SETSIZE; i++)
                if (client[i] < 0) {                            /* 找client[]中没有使用的位置 */
                    client[i] = connfd;                         /* 保存accept返回的文件描述符到client[]里 */
                    break;
                }

            if (i == FD_SETSIZE) {                              /* 达到select能监控的文件个数上限 1024 */
                fputs("too many clients\n", stderr);
                exit(1);
            }

            FD_SET(connfd, &allset);                            /* 向监控文件描述符集合allset添加新的文件描述符connfd */
            if (connfd > maxfd)
                maxfd = connfd;                                 /* select第一个参数需要 */

            if (i > maxi)
                maxi = i;                                       /* 保证maxi存的总是client[]最后一个元素下标 */

            if (--nready == 0)
                continue;
        } 

        for (i = 0; i <= maxi; i++) {                               /* 检测哪个clients 有数据就绪 */

            if ((sockfd = client[i]) < 0)
                continue;
            if (FD_ISSET(sockfd, &rset)) {

                if ((n = Read(sockfd, buf, sizeof(buf))) == 0) {    /* 当client关闭链接时,服务器端也关闭对应链接 */
                    Close(sockfd);
                    FD_CLR(sockfd, &allset);                        /* 解除select对此文件描述符的监控 */
                    client[i] = -1;
                } else if (n > 0) {
                    for (j = 0; j < n; j++)
                        buf[j] = toupper(buf[j]);
                    Write(sockfd, buf, n);
                    Write(STDOUT_FILENO, buf, n);
                }
                if (--nready == 0)
                    break;                                          /* 跳出for, 但还在while中 */
            }
        }
    }
    Close(listenfd);
    return 0;
}
View Code
  •    客户端

  实现简单功能:客户端发小写,服务器转为大写再返回给客户端。客户端首先socket、connect,依然是包裹函数。代码如下:

  

/* client.c */
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>

#include "wrap.h"

#define MAXLINE 80
#define SERV_PORT 6666

int main(int argc, char *argv[])
{
    struct sockaddr_in servaddr;
    char buf[MAXLINE];
    int sockfd, n;

    if (argc != 2)
        printf("./client IP\n");

    sockfd = Socket(AF_INET, SOCK_STREAM, 0);

    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    inet_pton(AF_INET, argv[1], &servaddr.sin_addr);
    servaddr.sin_port = htons(SERV_PORT);

    Connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
    printf("------------connect ok----------------\n");

    while (fgets(buf, MAXLINE, stdin) != NULL) {
        Write(sockfd, buf, strlen(buf));
        n = Read(sockfd, buf, MAXLINE);
        if (n == 0) {
            printf("the other side has been closed.\n");
            break;
        }
        else
            Write(STDOUT_FILENO, buf, n);
    }
    Close(sockfd);

    return 0;
}
View Code

  这样就可以了,想要《unix网络编程》、wrap.c的,推荐评论我。

  其实,TCP状态转换图、select实现原理,应该用画图来解释一下,今天7点多就到公司了,准备写博客,然后9点就去处理需求了,下午才写完,等有时间再详细介绍这两方面吧。

  最后,评论你的不懂问题,需要资料的也随时欢迎评论。

  

  

 

  

 

  

作者: 柳德维

-------------------------------------------


相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
1月前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
56 3
|
6月前
|
监控 安全 Linux
socket编程之常用api介绍与socket、select、poll、epoll高并发服务器模型代码实现(3)
高并发服务器模型-poll poll介绍   poll跟select类似, 监控多路IO, 但poll不能跨平台。其实poll就是把select三个文件描述符集合变成一个集合了。
76 0
|
6月前
|
前端开发 Java API
构建异步高并发服务器:Netty与Spring Boot的完美结合
构建异步高并发服务器:Netty与Spring Boot的完美结合
|
6月前
|
网络协议 Linux
Linux C TCP服务器端-select案例
本文主要介绍了linux下Select的TCP通信流程,实现了客户端和服务器的通信,主要实现了消息的回发,即服务器将消息原封不动的回发给客户端。
82 0
|
6月前
|
消息中间件 Java Linux
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
|
5月前
|
缓存 NoSQL Java
Java高并发实战:利用线程池和Redis实现高效数据入库
Java高并发实战:利用线程池和Redis实现高效数据入库
492 0
|
3月前
|
监控 算法 Java
企业应用面临高并发等挑战,优化Java后台系统性能至关重要
随着互联网技术的发展,企业应用面临高并发等挑战,优化Java后台系统性能至关重要。本文提供三大技巧:1)优化JVM,如选用合适版本(如OpenJDK 11)、调整参数(如使用G1垃圾收集器)及监控性能;2)优化代码与算法,减少对象创建、合理使用集合及采用高效算法(如快速排序);3)数据库优化,包括索引、查询及分页策略改进,全面提升系统效能。
49 0
|
5月前
|
存储 NoSQL Java
探索Java分布式锁:在高并发环境下的同步访问实现与优化
【6月更文挑战第30天】Java分布式锁在高并发下确保数据一致性,通过Redis的SETNX、ZooKeeper的临时节点、数据库操作等方式实现。优化策略包括锁超时重试、续期、公平性及性能提升,关键在于平衡同步与效率,适应大规模分布式系统的需求。
173 1
|
4月前
|
算法 Java 调度
高并发架构设计三大利器:缓存、限流和降级问题之使用Java代码实现令牌桶算法问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之使用Java代码实现令牌桶算法问题如何解决

热门文章

最新文章

  • 1
    高并发场景下,到底先更新缓存还是先更新数据库?
    69
  • 2
    Java面试题:解释Java NIO与BIO的区别,以及NIO的优势和应用场景。如何在高并发应用中实现NIO?
    75
  • 3
    Java面试题:设计一个线程安全的单例模式,并解释其内存占用和垃圾回收机制;使用生产者消费者模式实现一个并发安全的队列;设计一个支持高并发的分布式锁
    68
  • 4
    Java面试题:如何实现一个线程安全的单例模式,并确保其在高并发环境下的内存管理效率?如何使用CyclicBarrier来实现一个多阶段的数据处理任务,确保所有阶段的数据一致性?
    65
  • 5
    Java面试题:结合建造者模式与内存优化,设计一个可扩展的高性能对象创建框架?利用多线程工具类与并发框架,实现一个高并发的分布式任务调度系统?设计一个高性能的实时事件通知系统
    56
  • 6
    Java面试题:假设你正在开发一个Java后端服务,该服务需要处理高并发的用户请求,并且对内存使用效率有严格的要求,在多线程环境下,如何确保共享资源的线程安全?
    71
  • 7
    在Java中实现高并发的数据访问控制
    42
  • 8
    使用Java构建一个高并发的网络服务
    32
  • 9
    微服务06----Eureka注册中心,微服务的两大服务,订单服务和用户服务,订单服务需要远程调用我们的用,户服务,消费者,如果环境改变,硬编码问题就会随之产生,为了应对高并发,我们可能会部署成一个集
    37
  • 10
    如何设计一个秒杀系统,(高并发高可用分布式集群)
    132
  • 下一篇
    无影云桌面