ZeroMQ的模式-Pipeline

简介:

Pipeline pattern 管道模式。

这种模式描述的场景是数据被散布到以管道方式组织的各个节点上。管道的每一步都连接一个或多个节点,连接多个节点时数据以RR方式往下流。

注意是,意味着数据跟发布模式一样是单向的。这个模式对应的socket是ZMQ_PUSH和ZMQ_PULL.

ZMQ_PUSH

用来向下游节点发消息。下游多个节点时采取RoundRobin分发,zmq_recv()对于这个socket也是无效的。

与Pub不同的是,当下游节点达到高水位(HWM)或者根本没有下游节点时,zmq_send()就阻塞了,消息并不丢失。

Summary of ZMQ_PUSH characteristics
Compatible peer sockets ZMQ_PULL
Direction Unidirectional
Send/receive pattern Send only
Incoming routing strategy N/A
Outgoing routing strategy Round-robin
ZMQ_HWM option action Block

ZMQ_PULL

下游节点在这个socket上进行zmq_recv(),来收取上游发来的消息。zmq_send()在此socket上是没有意义的。

Summary of ZMQ_PULL characteristics
Compatible peer sockets ZMQ_PUSH
Direction Unidirectional
Send/receive pattern Receive only
Incoming routing strategy Fair-queued
Outgoing routing strategy N/A
ZMQ_HWM option action N/A

总结

流行的map-reduce可以说就是这样的模式。数据从头开始,map到许多节点进行计算,计算结果最终reduce到一处。单向,没有回头。

事实上,这种模式也多见于并行计算、分布式计算这些场景中。

这个模式跟pub-sub一样容易理解,因此也没必要再赘述了。

目录
相关文章
|
10月前
|
Apache 数据中心 微服务
构建可扩展的消息系统:Apache Pulsar和NATS的比较
消息系统在现代分布式应用程序中扮演着至关重要的角色,它们用于实现异步通信、事件驱动架构和可靠数据传输。在本篇文章中,我们将探讨两个流行的消息系统:Apache Pulsar和NATS,并比较它们的特点、性能和可扩展性。我们将研究它们的架构、部署方式以及如何使用它们来构建可靠和高性能的消息传递系统。
282 0
|
消息中间件 存储 网络协议
ZMQ/ZeroMQ简介
ZMQ/ZeroMQ简介
|
消息中间件 存储 NoSQL
一文读懂Kafka Connect核心概念
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中,使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
|
17天前
|
消息中间件 Java BI
RabbitMQ的四种消息传递模式与演示代码
RabbitMQ的四种消息传递模式与演示代码
33 0
|
5月前
|
消息中间件 存储 Java
消息中间件系列教程(09) -RabbitMQ -案例代码(发布订阅模式)
消息中间件系列教程(09) -RabbitMQ -案例代码(发布订阅模式)
36 0
|
3月前
|
消息中间件 JSON Java
RabbitMQ 核心部分之简单模式和工作模式
【1月更文挑战第9天】 1.消息属性 RabbitMQ是基于AMQP消息传输协议来实现的消息中间件;类似HTTP有header和body两部分数据,Message是RabbitMQ中的消息体概念。 Message由Properties和Body组成,前者是一些元信息,如消息的优先级、持久化、传输格式(如JSON)、延迟等高级特性,Body则是传递的消息数据实体 2.消息投递 Exchange、Queue与Routing Key三个概念是理解RabbitMQ消息投递的关键。RabbitMQ中一个核心的原则是,消息不能直接投递到Queue中。 Producer只能将自己的消息投递到Exc
125 1
|
消息中间件 负载均衡 网络协议
ZMQ/ZeroMQ的三种消息模式
ZMQ/ZeroMQ的三种消息模式
ZMQ/ZeroMQ的三种消息模式
|
11月前
|
消息中间件 存储 网络协议
【事件驱动架构】 全面了解Kafka和RabbitMQ选型(1) -两种不同的消息传递方式
【事件驱动架构】 全面了解Kafka和RabbitMQ选型(1) -两种不同的消息传递方式
|
11月前
|
消息中间件 网络协议 JavaScript
「事件驱动架构」Kafka vs. RabbitMQ:架构、性能和用例
「事件驱动架构」Kafka vs. RabbitMQ:架构、性能和用例
|
11月前
|
消息中间件 存储 监控
「事件驱动架构」何时使用RabbitMQ或 Kafka?
「事件驱动架构」何时使用RabbitMQ或 Kafka?