云消息队列

Redis Stream Redis最新的大版本5.0已经RC1了，其中最重要的Feature莫过于Redis Stream了，关于Redis Stream的基本使用介绍和设计理念可以看我之前的一篇文章（Redis Stream简介）。

一般来说，消息队列都会保证queue当中的消息的顺序。然而如果有多个consumer同时消费同一个queue，那么这时就不能保证的消息的顺序性。 有时候，消息的顺序是非常重要的，为了能顺序的消费消息，我们只能启动一个consumer来消费这个queue。

在开发中应用过ActiveMQ，kafka等mq，不过对消息队列背后的实现原理关注不多，其实了解消息队列背后的实现特别重要，比如对一致性等实现的关注，可以帮助我们在开发中避免踩坑，规避问题的出现。这篇文章简单探讨下当设计和实现一个消息队列时，我们需要关心哪些地方。

消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。本文就将带你走进消息队列Kafka。

这里我使用Redis的发布、订阅功能实现简单的消息队列，基本的命令有publish、subscribe等。 在Jedis中，有对应的java方法，但是只能发布字符串消息。为了传输对象，需要将对象进行序列化，并封装成字符串进行处理。

下面来说说如何用不用消息队列来进行进程间的通信，消息队列与命名管道有很多相似之处。有关命名管道的更多内容可以参阅我的另一篇文章：Linux进程间通信——使用命名管道   一、什么是消息队列 消息队列提供了一种从一个进程向另一个进程发送一个数据块的方法。

针对消息队列的数据积压问题，我们主要做了三个方面的优化处理，取消同步锁、ActiveMQ参数优化、本地双队列优化，通过这三个方面的优化基本解决了队列数据积压的问题。

在消息队列中，当消费者去消费消息的时候，无论是通过 pull 的方式还是 push 的方式，都可能会出现大批量的消息突刺。如果此时要处理所有消息，很可能会导致系统负载过高，影响稳定性。但其实可能后面几秒之内都没有消息投递，若直接把多余的消息丢掉则没有充分利用系统处理消息的能力。

7月25日，阿里云宣布正式推出消息队列Kafka，全面融合开源生态。在兼容Apache生态的基础上，阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点，可用性达99.9%，数据可靠性99.999999%，并且支持消息无缝迁移到云上。

在上一篇帖子剖析nsq消息队列(一) 简介及去中心化实现原理中，我介绍了nsq的两种使用方式，一种是直接连接，还有一种是通过nslookup来实现去中心化的方式使用，并大概说了一下实现原理，没有什么难理解的东西，这篇帖子我把nsq实现去中心化的源码和其中的业物逻辑展示给大家看一下。

7月25日，阿里云宣布正式推出消息队列Kafka，全面融合开源生态。在兼容Apache生态的基础上，阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点，可用性达99.9%，数据可靠性99.999999%，并且支持消息无缝迁移到云上。

前言：前面讨论了信号、管道的进程间通信方式，接下来将讨论消息队列。 　　一、系统V IPC 　　三种系统V IPC：消息队列、信号量以及共享内存（共享存储器）之间有很多相似之处。 　　每个内核中的 I P C结构（消息队列、信号量或共享存储段）都用一个非负整数的标识符( i d e n t i f i e r )加以引用。

前段时间实现了一个基于RabbitMQ的消息总线，实现的过程中自己也在不断得思考、总结以及修正。需要考虑各个维度：效率、性能、网络、吞吐量、甚至需要自己去设想API可能的使用场景、模式。不过能有一件事情，自己愿意去做，在走路、吃饭、坐公交的时候都在思考如何去改进它，然后在实践的过程中，促使去思考并挖掘自己知识面的空白，也是一件让人开心的事情。

本篇笔记旨在使用Redis的List(列表)命令实现消息队列，生产者使用lPush命令发布消息，消费者使用rpoplpush命令获取消息，同时将消息放入监听队列，如果处理超时，监听者将把消息弹回消息队列

最近在看消息队列框架 ，alibaba的RocketMQ单机支持1万以上的持久化队列，支持诸多特性， 目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景 比kafka还是有过之无不及，其实kafka文档很丰富 但RocketMQ网上的...

最近在看消息队列框架 ，alibaba的RocketMQ单机支持1万以上的持久化队列，支持诸多特性， 目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景 比kafka还是有过之无不及，其实kafka文档很丰富 但RocketMQ网上的...

消息队列设计精要总结之基础篇 消息队列概述 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。

什么是ActiveMQ？ ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

  一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。

1.[连载]《C#通讯（串口和网络）框架的设计与实现》 2.[开源]C#跨平台物联网通讯框架ServerSuperIO（SSIO）介绍 2.应用SuperIO（SIO）和开源跨平台物联网框架ServerSuperIO（SSIO）构建系统的整体方案 3.

消费者 apache kafka工具类，消费者Consumer类 public class Consumer { private ConsumerHandler handler; private ConsumerConfig config; private KafkaConsu...

原文:【c#】队列（Queue）和MSMQ（消息队列）的基础使用       首先我们知道队列是先进先出的机制，所以在处理并发是个不错的选择。然后就写两个队列的简单应用。 Queue 命名空间     命名空间：System.Collections，不在这里做过多的理论解释，这个东西非常的好理解。

上一篇聊了聊批处理的缺点，对于无界数据来说，流处理会是更好的选择，“流”指的是随着时间的推移逐步增加的数据。消息队列可以将这些流组织起来，快速的在应用程序中给予反馈。

本文整理自滴滴出行消息队列负责人 江海挺 在Apache RocketMQ开发者沙龙北京站的分享。通过本文，您将了解到滴滴出行： 1. 在消息队列技术选型方面的思考； 2. 为什么选择 RocketMQ 作为出行业务的消息队列解决方案； 3. 如何构建自己的消息队列服务； 4. 在 RocketMQ 上的扩展改造实践； 5. 在 RocketMQ 上的实践经验。

前言： 在面向企业级的运用中，各种中间件被广泛运用，对于多并发的应用，为了解决服务器处理性能的差异问题，普遍使用消息队列作为非实时性（或实时性）请求的转发与控制，一般可用来支持分布式请求系统、事务最终一致性，高吞吐系统，请求缓存池等架构方案。