安装JStorm2.1.1
安装zookeeper
参见
http://www.cnblogs.com/ilovexiao/p/3946547.html
不过这篇博客有个问题/datatmp/zookeeper/logs这个文件夹是需要手动新建的
安装python
Centos7本身已经自带了Python2.
Jstorm 集群搭建过程/Jstorm集群一键安装部署
Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ,我整理了三个脚本:安装
Jstorm 集群,安装 jstorm_web_ui 监控页面,启动zookeeper、Jstorm集群进行测试。
java-jstorm
jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架,使用简单,特点如下:
开发非常迅速: 接口简单,容易上手,只要遵守Topology,Spout, Bolt的编程规范即可开发出一个扩展性极好的应用,底层rpc,worker之间冗余,数据分流之类的动作完全不用考虑。
Jstorm草草配置
今天帮同事调试一个双节点的Jstorm测试集群。
UI界面总是不能出现集群的具体信息。
参考几个URL调了一下。搞定了。
收获以下知识点:
1,UI是在storm.yaml里配置的
2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。
JStorm,让大规模流处理成为可能
本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。