4.网络设计与redis、memcached、nginx组件(一)

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 4.网络设计与redis、memcached、nginx组件(一)

网络组件系列文章目录


第四章 网络设计与redis、memcached、nginx组件


文章的思维导图



前言


本文要介绍网络开发当中,常用的网络IO和网络IO处理的数据以及几种常用的reactor 模型


一、网络相关的问题,网络开发中要处理那些问题?


网络操作IO

1.连接建立

2.连接断开;

3.消息到达;

4.消息发送;


以上的四个问题,归根到底还是网络IO问题;网络IO 函数两大特性:IO函数检测状态;IO函数进行操作;

IO函数的检测: 该检测是精确的检测,它能过够通过函数返回值和errno 的值体现出函数的状态;

IO函数的操作: connect listen accept read write 等函数都能够操作对应的数据;


网络中IO 函数本身就被检测功能和操作功能。


连接建立

连接建立分为主动建立和被动建立连接; 主动建立连接,服务器和第三方通过connet 建立连接;被动建立连接,服务器 需要socket bind listen acceopt 监听客户端;


connect,listen accept是关于网络的连接建立。accept检测全连接队列中是否有tcb,如果有则从中取出一个节点,返回一个对象clientfd,以及客户端的IP地址。connect是对于客户端而言,如果客户端收到ACK,即连接建立成功。(对应三次握手)


连接断开

连接断开范围主动断开和被动断开; 主动断开: 主动调用 close() 或shutdown() 被动i断开: 通过read 和write返回值和状态检测


消息到达

网络中消息发送一般使用read() 读取数据; read 返回值为-1 且errno == EWOULDBLOCK 说明read buffer 为空。


消息发送

网络中消息发送一般使用write(); write 返回值为-1 且errno == EWOULDBLOCK 说明writebuf 满了。


read是把数据从内核态read buffe拷贝到用户态中,当期为0代表read buffer中读到EOF,通过read 返回值和errno 确定read buffer 状态

write是把数据从用户态拷贝到内核态write buffe中  通过write 返回值和errno 确定write buffer 状态。

网络设备中读写理解

以电脑CPU为中心。从外界的设备(键盘,磁盘等等)向CPU传递信息就是“读操作”,由CPU向外界设备(屏幕,磁盘等等)传递信息就是“写操作”。

客户端:读端 ----- -- 服务端:写端(write buffer);                           
客户端 写端--------服务端:读端(read buffer):


网络操作IO特性

操作IO函数分为阻塞和非阻塞。

阻塞位置: 阻塞在网络线程,连接的fd 阻塞属性决定了IO函数是否阻塞


阻塞非阻塞区别: 在数据准备阶段。阻塞IO在系统调用read 数据的时候,readbuffer 为空,则阻塞追到数据准备好。阻塞到内核当中。非阻塞 数据准备阶段无论是否有数据系统调用就立刻返回。

1e4bf8a9c2aaea7201b220560d2b8899_ee457110576d4d77a5a8d423c7423560.png


二、网络中IO检测


IO函数检测

IO函数本身可以检测 IO的状态;但是只能检测一个 fd 对应的状态;


IO MULTIPLXING

只检测IP的就绪状态,同时可以检测多条链路的就绪状态;可以检测多个IO的就绪状态,他从来不操作IO;

IO 多路复用的检测是笼统的检测只能检测出可读、可写、错误、断开等笼统的事件;

IO多路复用

IO多路复用是系统调用的数据准备阶段


EPOLL 原理图


调用 epoll_create 会创建一个 epoll 对象;调用epoll_ctl 添加到 epoll 中的事件都会与网卡驱动程序建立回

调关系,相应事件触发时会调用回调函数( ep_poll_callback ),将触发的事件拷贝到 rdlist 双向

链表中;调用 epoll_wait 将会把 rdlist 中就绪事件拷贝到用户态中;


EPOLL

代码如下(示例): epoll 中相关的结构

struct eventpoll {
// ...
struct rb_root rbr; // 管理 epoll 监听的事件
struct list_head rdllist; // 保存着 epoll_wait
返回满⾜条件的事件
// ...
};
struct epitem {
// ...
struct rb_node rbn; // 红⿊树节点
struct list_head rdllist; // 双向链表节点
struct epoll_filefd ffd; // 事件句柄信息
struct eventpoll *ep; // 指向所属的eventpoll对
struct epoll_event event; // 注册的事件类型
// ...
};
struct epoll_event {   // 事件结构体 把事件类型和句柄关联
__uint32_t events; // epollin epollout  epollet(边缘触发)
epoll_data_t data; // 保存 关联数据
};
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
}epoll_data_t;


2.EPOLL 函数

  1. 创建epoll对象,每个线程当中只有一个epoll 对象
int epoll_create(int size);


该处使用的url网络请求的数据。


  1. 操作epoll 事件, 节点存储在红黑树中
    操作方法:
    EPOLL_CTL_ADD
    EPOLL_CTL_MOD
    EPOLL_CTL_DEL


操作的事件类型

event.events:

EPOLLIN 注册读事件

EPOLLOUT 注册写事件

EPOLLET 注册边缘触发模式,默认是水平触发


int epoll_ctl(int epfd, int op, int fd, struct epoll_event* event);
  1. 获取就绪事件,把就绪事件从内核中copy 到用户态度。内核中就绪事件存储在双向链表中
int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int timeout);


获取就绪事件状态

events[i].events:

EPOLLIN 触发读事件

EPOLLOUT 触发写事件

EPOLLERR 连接发生错误

EPOLLRDHUP 连接读端关闭

EPOLLHUP 连接双端关闭


epfd: epoll 对象

struct epoll_event* events: 内核中copy 就绪事件存储在用户态地址

int maxevents 预取就绪事件的个数


timeout : 设置此值可以产生阻塞和非阻塞的性质, IO多路复用没有阻塞状态可以通过timeout 值设置出现对应的特性

timeout = -1 一直阻塞直到网络事件到达;

imeout = 0 不管是否有事件就绪立刻返回;

timeout = 1000 最多等待 1 s,如果1 s内没有事件触发则返回;


总结


提示:这里对文章进行总结:

略:二归的时候写感想

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
网络协议 C++
C++ Qt开发:QTcpSocket网络通信组件
`QTcpSocket`和`QTcpServer`是Qt中用于实现基于TCP(Transmission Control Protocol)通信的两个关键类。TCP是一种面向连接的协议,它提供可靠的、双向的、面向字节流的通信。这两个类允许Qt应用程序在网络上建立客户端和服务器之间的连接。Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍如何运用`QTcpSocket`组件实现基于TCP的网络通信功能。
37 8
C++ Qt开发:QTcpSocket网络通信组件
|
3月前
|
缓存 NoSQL 应用服务中间件
2.2.2 redis,memcached,nginx网络组件
2.2.2 redis,memcached,nginx网络组件
|
8天前
|
存储 负载均衡 监控
|
9天前
|
JSON Kubernetes 网络架构
Kubernetes CNI 网络模型及常见开源组件
【4月更文挑战第13天】目前主流的容器网络模型是CoreOS 公司推出的 Container Network Interface(CNI)模型
|
1月前
|
NoSQL 关系型数据库 MySQL
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
199 0
|
1月前
|
安全 Linux 网络安全
Qt SSL/TLS 安全通信类:构建安全网络应用的关键组件
Qt SSL/TLS 安全通信类:构建安全网络应用的关键组件
64 0
|
1月前
|
NoSQL Java 应用服务中间件
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
|
1月前
|
存储 网络安全 C++
C++ Qt开发:QUdpSocket网络通信组件
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍如何运用`QUdpSocket`组件实现基于UDP的网络通信功能。与`QTcpSocket`组件功能类似,`QUdpSocket`组件是 Qt 中用于实现用户数据报协议(UDP,User Datagram Protocol)通信的类。UDP 是一种无连接的、不可靠的数据传输协议,它不保证数据包的顺序和可靠性,但具有低延迟和简单的特点。
20 0
C++ Qt开发:QUdpSocket网络通信组件
|
1月前
|
缓存 网络安全 调度
C++ Qt开发:QNetworkAccessManager网络接口组件
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍如何运用`QNetworkAccessManager`组件实现Web网页访问。QNetworkAccessManager是Qt网络模块中的关键类,用于管理网络访问和请求。作为一个网络请求的调度中心,它为Qt应用程序提供了发送和接收各种类型的网络请求的能力,包括常见的GET、POST、PUT、DELETE等。这个模块的核心功能在于通过处理`QNetworkReply`和`QNetworkRequest`来实现
21 0
C++ Qt开发:QNetworkAccessManager网络接口组件
|
1月前
|
监控 C++ 索引
C++ Qt开发:QNetworkInterface网络接口组件
在Qt网络编程中,`QNetworkInterface`是一个强大的类,提供了获取本地网络接口信息的能力。通过`QNetworkInterface`,可以轻松地获取有关网络接口的信息,包括接口的名称、硬件地址、IP地址和子网掩码等。这个类对于需要获取本地网络环境信息的应用程序特别有用,例如网络配置工具、网络监控程序等。`QNetworkInterface`通过提供一致而易于使用的接口,使得网络编程中的任务更加简便和可靠。
26 4
C++ Qt开发:QNetworkInterface网络接口组件

热门文章

最新文章