安装JStorm2.1.1

简介: 安装zookeeper 参见 http://www.cnblogs.com/ilovexiao/p/3946547.html 不过这篇博客有个问题/datatmp/zookeeper/logs这个文件夹是需要手动新建的 安装python Centos7本身已经自带了Python2.

安装zookeeper

参见

http://www.cnblogs.com/ilovexiao/p/3946547.html

不过这篇博客有个问题
/datatmp/zookeeper/logs
这个文件夹是需要手动新建的


安装python

Centos7本身已经自带了Python2.7.5
使用python -V即可查看python的版本


安装JStorm

wget http://42.121.19.155/jstorm/jstorm-2.1.1.zip
unzip jstorm-2.1.1.zip
cd jstorm-2.1.1
修改配置文件conf/storm.yaml
我的storm.yaml如下: (已经去掉注释)
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. ########### These MUST be filled in for a storm configuration  
  2.  storm.zookeeper.servers:  
  3.      - "10.105.23.114"  
  4.   
  5.   
  6.  storm.zookeeper.root: "/jstorm"  
  7.   
  8.   
  9.   
  10.   
  11.  nimbus.host: "10.105.23.114"  
  12.  nimbus.host.start.supervisor: false  
  13.    
  14.  nimbus.childopts: "-Xmx256m"  
  15.  supervisor.childopts: "-Xmx256m"  
  16.  worker.childopts: "-Xmx128m"  
  17.   
  18.   
  19.   
  20.   
  21.  storm.local.dir: "%JSTORM_HOME%/data"  
  22.   
  23.   
  24.  supervisor.slots.ports:  
  25.     - 6800  
  26.     - 6801  
  27.     - 6802  
  28.     - 6803  

yaml文件的格式比较麻烦 在这里,我就说一点 
在缩排中空白字符的数目并不是非常重要,只要相同阶层的元素左侧对齐就可以了(不过不能使用TAB字符);
我的/etc/hosts
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. 127.0.0.1    localhost  
  2. 10.105.23.114   VM_23_114_centos  


在~/bashrc末尾加入:
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. export JSTORM_HOME=/usr/local/jstorm-2.1.1  
  2. export PATH=$PATH:$JSTORM_HOME/bin  
然后 使环境变量生效:
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. source ~/.bashrc  
配置完上面内容后,需要创建~/.jstorm目录,并将配置好的storm.yaml文件拷贝到该目录下:
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. mkdir ~/.jstorm  
  2. cp -f /usr/local/jstorm-2.1.1/conf/storm.yaml ~/.jstorm  


安装JStorm UI

jstorm的安装目录下就有 jstorm-ui-2.1.1.war
先安装tomcat
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. wget http://apache.fayea.com/tomcat/tomcat-7/v7.0.57/bin/apache-tomcat-7.0.57.zip  
  2. unzip apache-tomcat-7.0.57.zip  
  3. cd apache-tomcat-7.0.57  
  4. chmod +x bin/*.sh  
把放到tomcat的webapps的ROOT里,如果jstorm-ui-2.1.1只当做一个普通的项目与ROOT并列,会发现运行的时候JStorm有些图片显示不出来
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. cp ~/jstorm-2.1.1/jstorm-ui-2.1.1.war webapps/  
  2. mv ROOT ROOT.old  
  3. ln -s jstorm-ui-0.9.6.2 ROOT  

java测试代码

见http://blog.csdn.net/xeseo/article/details/17683049




启动JStorm

在jstorm-2.1.1/bin下
先启动nimbus与supervisor
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. nohup jstorm nimbus &  
  2. nohup jstorm supervisor &  
然后去
/usr/local/jstorm-2.1.1/logs
下看nimbus.log与supervisor.log
看是否有错误
然后启动
[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. ./jstorm jar storm-samples.jar mystorm.ExclaimBasicTopo test  
storm-samples.jar是之前的测试代码打成的jar包
mystorm.ExclaimBasicTopo是启动类
最后的test就是Topologyname
另外 再说明一下,那个jar里面是没有storm的依赖包的,就只有我们写的那些类
jstorm-2.1.1/lib下有需要的外部jar


查看JStormUI

访问182.254.145.66:8080
如下:





参考资料

 JStorm-0.9.6.2安装配置
http://blog.csdn.net/shcyd/article/details/1354618 
Error contacting service. It is probably not running 错误
点击打开链接   Storm系列之最基本的例子
   Storm详解二、写第一个Storm应用
目录
相关文章
|
算法 前端开发 数据可视化
数据结构与算法在前端开发中的实际应用
本文将探讨数据结构与算法在前端开发中的实际应用,重点介绍在处理大规模数据、优化性能和提升用户体验方面的具体场景和解决方案。
618 15
|
3月前
|
SQL 存储 分布式计算
EMR + Flink 实战:从离线T+1到实时数仓的完整迁移路径
数据团队每天产出的报表都是昨天的数据,运营决策永远慢一拍——我们在日均订单 50 万+的电商平台中,基于阿里云 EMR + Flink + DataHub + Hologres + DataWorks 搭建实时数仓,让数据从产生到可查仅 5 秒,GMV 实时看板让运营决策提前 24 小时。本文从离线数仓 5 大痛点出发,详解实时数仓架构设计、EMR 集群搭建、Flink 实时计算全链路开发、ODS→DWD→DWS→ADS 数据分层、DataWorks 混合调度,以及 5 个生产踩坑实录和最佳实践。
|
4月前
|
缓存 人工智能 安全
90% 的人不知道 Claude Code 还有插件系统!官方从未公开的 6 大组件深度拆解
本文深度拆解 Claude Code 插件系统的 6 大核心组件:Skills、Hooks、Agents、MCP、规则文件与配置系统,帮你快速上手插件开发与管理。
633 1
|
5月前
|
人工智能 API
90%的提示词方法正在失效:GPT-5.5发布后的真相
GPT-5.5发布后,传统提示词工程正快速失效:过度细化步骤反降效,OpenAI关停微调API,Karpathy宣告“提示词工程已死”。新范式转向Context与Harness Engineering——用Agent架构(Model+Harness)替代手写提示,聚焦目标定义、上下文编排与错误拦截机制。
492 1
|
5月前
|
开发框架 .NET Windows
dotnet-hosting-2.2.8-win安装步骤详解(附IIS部署与AspNetCoreModule配置)
`dotnet-hosting-2.2.8-win.exe`是.NET Core 2.2托管捆绑包安装程序,专为Windows服务器/开发机设计。安装后,IIS即可托管ASP.NET Core应用,内置运行时与AspNetCoreModule/V2模块。需先启用IIS,再以管理员身份运行安装。
|
7月前
|
SQL 程序员 数据处理
优化Python循环:从10秒到0.1秒的性能调优
本文以小李优化三百万行日志处理为例,详解Python循环性能瓶颈及七步调优法:精简循环体、预提方法、改用列表推导式、map/filter组合、避免重复转换、引入pandas等高效工具,最终将耗时从10秒降至0.1秒级。强调“先写对,再写快”,兼顾性能与可维护性。(239字)
427 8
|
7月前
|
JSON Shell API
淘宝 API(taobao.item.get) Python 调用 + 解析 + 数据反馈参考
下面给你一套可直接运行的淘宝 API Python 调用 + 解析 + 数据反馈参考,以最常用的 ** 商品详情(taobao.item.get)和商品搜索(taobao.item.search)** 为例,包含完整签名、请求、JSON 返回、解析代码与字段说明。
|
10月前
|
机器学习/深度学习 人工智能 算法
奥维:AI技术赋能水利工程 “人工智能+”展现巨大潜力
奥维数字科技凭借对AI技术的深耕与水利场景的深刻理解,打造出奥维水利算法云这一核心解决方案,将AI能力渗透到大坝安全、洪水预报、淹没分析等关键环节,以“精准、实时、可进化”的服务特性,为水利行业智能化升级提供了可落地的技术范式。奥维通过“AI+水利”的实践证明,人工智能并非简单的“技术叠加”,而是能从“数据处理、模型优化、决策支撑”三个核心环节重构水利工程的运行模式:它让大坝监测更精准、洪水预报更及时、应急响应更科学,也让水利决策从“经验驱动”转向“数据驱动”。
1237 5
|
Java
Java语言实现字母大小写转换的方法
Java提供了多种灵活的方法来处理字符串中的字母大小写转换。根据具体需求,可以选择适合的方法来实现。在大多数情况下,使用 String类或 Character类的方法已经足够。但是,在需要更复杂的逻辑或处理非常规字符集时,可以通过字符流或手动遍历字符串来实现更精细的控制。
674 18
|
人工智能 小程序 API
【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态?
【云智AI运动识别小程序插件】提供人体、运动、姿态检测的AI能力,支持本地原生识别,无需后台服务,具有速度快、体验好、易集成等优点。本文介绍如何使用该插件实现用户上传视频的运动识别,包括视频解码抽帧和人体识别的实现方法。

热门文章

最新文章