如何在E-MapReduce上使用storm

简介: Storm 使用指南 集群创建 目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点

Storm 使用指南

集群创建

目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(E-MapReduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:

stormoption

作业运行

  1. 通过SSH命令,登录集群的master节点。
  2. 登录到该节点后,即可通过命令行的方式提交作业,E-MapReduce集群中storm的运行环境位置为:/opt/apps/apache-storm-1.0.1 (用户可以自行将该运行环境目录配置到自己的环境变量中)。
  3. 提交storm作业的命令例如:/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
  4. 作业提交成功后,通过storm的UI监控作业的运行状态,查看UI需要在本机和master建立SSH隧道,建立方法参考ssh登录集群,隧道建立成功后,在浏览器中访问:http://localhost:9999 即可打开storm的监控UI。

监控UI的截图样例如下:
stormui

storm启动的Daemon和占用的端口

  1. storm会在master节点启动nimbus进程和监控UI进程,分别占用6627端口和9999端口。
  2. storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。
目录
相关文章
【面试题精讲】字节码构成-魔术
【面试题精讲】字节码构成-魔术
|
Python Windows
Anaconda最新版详细安装教程
Anaconda最新版详细安装教程
874 0
【灵动之链】打造高效处理架构的双轨组合模式实战
【灵动之链】打造高效处理架构的双轨组合模式实战
【数据结构】第四站:单链表力扣题(二)
【数据结构】第四站:单链表力扣题(二)
106 0
|
前端开发
关于我写了一个vite插件那些事
在我们开发的过程中有开发模式和生产模式,那有些测试代码会在开发模式的时候使用,在生产环境要删掉,一般是手动删除,另一种就是判断环境变量,但是环境变量不好处理template代码以及css代码,为此我写了一个插件将解决以上问题。
358 0
关于我写了一个vite插件那些事
|
Java 数据库连接 数据库
SpringBoot实战(四)之使用JDBC和Spring访问数据库
这里演示的是h2databse示例,所以简单的介绍普及下h2database相关知识 H2数据库是一个开源的关系型数据库。 H2是一个嵌入式数据库引擎,采用java语言编写,不受平台的限制,同时H2提供了一个十分方便的web控制台用于操作和管理数据库内容。
2784 0
|
Java 测试技术 Apache
|
4天前
|
人工智能 JSON 供应链
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
LucianaiB分享零成本畅用JVS Claw教程(学生认证享7个月使用权),并开源GeoMind项目——将JVS改造为科研与产业地理情报可视化AI助手,支持飞书文档解析、地理编码与腾讯地图可视化,助力产业关系图谱构建。
23306 2
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
|
6天前
|
人工智能 API 开发工具
Claude Code国内安装:2026最新保姆教程(附cc-switch配置)
Claude Code是我目前最推荐的AI编程工具,没有之一。 它可能不是最简单的,但绝对是上限最高的。一旦跑通安装、接上模型、定好规范,你会发现很多原本需要几小时的工作,现在几分钟就能搞定。 这套方案的核心优势就三个字:可控性。你不用依赖任何不稳定服务,所有组件都在自己手里。模型效果不好?换一个。框架更新了?自己决定升不升。 这才是AI时代开发者该有的姿势——不是被动等喂饭,而是主动搭建自己的生产力基础设施。 希望这篇保姆教程,能帮你顺利上车。做出你自己的作品。
8518 18
Claude Code国内安装:2026最新保姆教程(附cc-switch配置)