理解Storm的内部消息缓冲机制
这篇文章是Apache Kafka的作者之一Michael G. Noll写的,他的博客地址在[这里]。
优化Storm计算拓扑性能的过程有助于我们理解Storm内部消息队列的配置和使用,在这篇简短的文章中,我将向大家解释并说明Storm(0.8或0.9版本)的一个工作进程(worker process)和与其相关的多个执行器线程是如何完成内部通信的。
Centos-Kafka 消息队列
常用的消息队列有Kafka、RabbitMQ、ActiveMQ、metaq等
kafka有什么?
producer 消息的生成者,即发布消息consumer 消息的消费者,即订阅消息broker Kafka以集群的方式运行,可以由一个或多个服务组成,服务即brokerzookeeper 协调转发
1、下载kafka
cd /usr/nacp/
wget http://mirror.