Jstorm草草配置
今天帮同事调试一个双节点的Jstorm测试集群。
UI界面总是不能出现集群的具体信息。
参考几个URL调了一下。搞定了。
收获以下知识点:
1,UI是在storm.yaml里配置的
2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。
【云栖大会】开源大数据技术的魅力
在2016杭州云栖大会第四天的“开源大数据技术专场”分会场上,阿里云高级技术专家无谓、阿里云技术专家封神、阿里巴巴中间件技术部高级技术专家天梧、阿里巴巴中间件技术部资深技术专家纪君祥对开源大数据技术的有关方面做了详细介绍。
Jstorm到Flink在今日头条的迁移实践
本文内容如下:
引入Flink的背景
Flink集群的构建过程
构建流式管理平台
引入Flink的背景#
下面这幅图展示的是字节跳动公司的业务场景
首先,应用层有广告,也有AB测,也有推送和数据仓库的一些业务。
Jstorm 调度硬件资源cgroups
cgroups是control groups的缩写,是Linux内核提供的一种可以限制, 记录, 隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO 等等)的机制。
Jstorm vs Storm
Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。