大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

Hadoop(已更完)

HDFS(已更完)

MapReduce(已更完)

Hive(已更完)

Flume(已更完)

Sqoop(已更完)

Zookeeper(已更完)

HBase(已更完)

Redis (正在更新…)

章节内容

上节我们完成了:


Redis的缓存机制

Redis的淘汰策略

LRU LFU 等机制

通信协议

  • Redis是单进程+单线程的。
  • 应用系统和Redis之间是通过Redis协议(RESP)来进行交互的。

响应模式

概念介绍

Redis 协议位于 TCP 层上,即客户端和Redis实例保持双工的连接。

串行模式

  • 串行化是最简单的模式,客户端与服务端建立长连接。
  • 连接通过心跳机制来检测(ping-pong)ACK应答。
  • 客户端发送请求,服务端响应,客户端收到响应后,再发起第二个请求,服务端再响应。
  • telnet 和 redis-cli 都属于这种模式,耗时在网络传输且性能较低

双工模式

批量请求,批量响应,请求和响应交叉进行,不会混淆(TCP双工)


pipline 的作用是将一批命令进行打包,然后发送给服务器,服务器执行完后按顺序打包返回。

通过pipline,一次pipline中包含多条命令+一次网络时间

我们使用Jedis库可以很轻松的使用 pipline

————————————————


                           版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

                     

原文链接:https://blog.csdn.net/w776341482/article/details/140679387

Jedis redis = new Jedis("h121.wzk.icu", 6379);
redis.auth("111111");
Pipeline pipe = jedis.pipelined();
for (int i = 0; i <50000; i++) {
    pipe.set("key_"+String.valueOf(i),String.valueOf(i));
}
// 将封装后一次性发给redis
pipe.sync();

数据格式

Redis 客户端与服务器交互采用序列化协议(RESP)。

请求以字符串的形式来表示要执行的命令的参数

Redis使用特有的数据类型作为回复。


客户端与服务端通过TCP连接来进行数据交互,服务端口号为:6379

客户端与服务端发送的命令和数据一律以 \r\n(CRLF)结尾

所有参数都是二进制安全(binary safe)

内联格式

可以使用 telnet 工具进行测试,发送一些内容过去

telnet h121.wzk.icu 6379
xxx
xxx
xxx
XXX

处理流程

处理流程

  • 服务器启动监听
  • 接受命令请求并解析
  • 执行命令请求
  • 返回命令回复

具体的过程图可以看下边的流程图片:

处理机制

Redis 服务器是典型的事件驱动系统,Redis将事件分为两大类:


文件事件

时间事件

文件事件

文件事件即Socket读写事件,也就是IO事件,比如客户端连接、命令请求、数据回复、连接断开等等。


Reactor

Redis 事件处理机制采用单线程的Reactor模式,属于 I/O 多路复用的一种常见模式。

IO 多路复用指单个线程管理多个Socket,Reactor Pattern(反应器设计模式)是一种为处理并发服务请求,并将请求提交到一个或者多个服务器处理的事件设计模式。


Reactor 模式是事件驱动的

有一个或者多个并发输入源

有一个ServiceHandler

有多个RequestHandlers

ServiceHandler会同步的将输入的Event多路复用的分发给相应的RequestHandler

下面这些图片可以让你更好地理解 Reactor 模式:

多路复用

IO多路复用机制就是通过一种机制,一个进程可以监视多个描述符(Socket),一旦某个描述符就绪,能够通知程序进行相应的复写操作。

IO多路复用机制有这么几种:


select

poll

epoll

kqueue

Select

select函数监视的文件描述符分3类:


writefds

readfds

exceptfds

调用后select函数会阻塞,直到有描述符就绪或者超时,函数返回。

当select函数返回后,可以通过 fd 列表遍历,来找到就绪的描述符。


Select优点

几乎在所有平台上都有支持,跨平台支持。


Select缺点

单个进程打开文件描述有一定的限制,有 FD_SETSIZE 设置,默认是 1024 ,采用数组存储,另外在检查数组中是否有文件描述符需要读写时,采用的是线性的扫描(不管是否活跃都扫描轮询),效率较低。


Poll

poll使用一个 pollfd 的指针实现,pollfd结构包含了要监视的 Event 和 发生的 Event,不再使用 select 的参数值传递的方式。


Poll 优点

采用链表的形式存储,它监听的描述符数量没有限制,可以超过select默认限制的1024大小


Poll缺点

另外在检查链表中是否有文件描述符需要读写时,采用线性扫描的方法,即不管Socket是不是活跃的,都轮询一次,效率较低。


epoll

epoll 子啊 Linux2.6 内核中提出的,是之前 select 和 poll 的加强版本。

相对于 select 和 poll 来说,epoll 更加灵活,没有描述符限制。


epoll 使用一个文件描述符管理多个描述符,将用户关系的文件描述符的事件存放到内核的一个事件表中,这样在用户空间和内核空间的copy就只需要一次。


epoll优点

epoll 没有最大并发连接限制,上限是最大能打开文件的数目,比如1GB内存大约能打开10万文件左右。

epoll 最大的优点就在于只处理活跃的连接,而不需要轮询遍历,所以效率很高。


kqueue

kqueue 是 unix 下的一个 IO 多路复用库。最初是 2000年在FreeBSD系统上开发的一个高性能的事件的事件通知接口。

注册一批Socket描述符kqueue后,当其中描述符状态发生改变时,kqueue将一次性通知应用程序哪些描述符可读可写或出错。


kqueue优点

能处理大量数据,性能较高。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
30天前
|
SQL 消息中间件 分布式计算
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
63 5
|
30天前
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
48 3
|
30天前
|
消息中间件 分布式计算 druid
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
27 2
|
30天前
|
SQL 消息中间件 分布式计算
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
50 0
|
30天前
|
SQL 大数据
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
60 0
|
30天前
|
分布式计算 监控 大数据
大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理
大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理
51 0
|
30天前
|
存储 SQL 分布式计算
大数据-127 - Flink State 04篇 状态原理和原理剖析:状态存储 Part2
大数据-127 - Flink State 04篇 状态原理和原理剖析:状态存储 Part2
17 0
|
30天前
|
存储 消息中间件 大数据
大数据-126 - Flink State 03篇 状态原理和原理剖析:状态存储 Part1
大数据-126 - Flink State 03篇 状态原理和原理剖析:状态存储 Part1
54 0
|
30天前
|
存储 SQL 分布式计算
大数据-125 - Flink State 02篇 状态原理和原理剖析:广播状态
大数据-125 - Flink State 02篇 状态原理和原理剖析:广播状态
40 0
|
30天前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
108 0