如何在E-MapReduce上使用storm

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: Storm 使用指南 集群创建 目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点

Storm 使用指南

集群创建

目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(E-MapReduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:

stormoption

作业运行

  1. 通过SSH命令,登录集群的master节点。
  2. 登录到该节点后,即可通过命令行的方式提交作业,E-MapReduce集群中storm的运行环境位置为:/opt/apps/apache-storm-1.0.1 (用户可以自行将该运行环境目录配置到自己的环境变量中)。
  3. 提交storm作业的命令例如:/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
  4. 作业提交成功后,通过storm的UI监控作业的运行状态,查看UI需要在本机和master建立SSH隧道,建立方法参考ssh登录集群,隧道建立成功后,在浏览器中访问:http://localhost:9999 即可打开storm的监控UI。

监控UI的截图样例如下:
stormui

storm启动的Daemon和占用的端口

  1. storm会在master节点启动nimbus进程和监控UI进程,分别占用6627端口和9999端口。
  2. storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
分布式计算 数据处理
38 MAPREDUCE中的其他应用
38 MAPREDUCE中的其他应用
54 0
|
存储 消息中间件 分布式计算
104 Storm介绍
104 Storm介绍
44 0
|
分布式计算
37 MAPREDUCE中的DistributedCache应用
37 MAPREDUCE中的DistributedCache应用
43 0
|
分布式计算 并行计算 大数据
初识MapReduce
初识MapReduce
92 0
|
存储 分布式计算 资源调度
|
存储 分布式计算 资源调度
|
存储 缓存 分布式计算
MapReduce —— 历久而弥新(1)
MapReduce —— 历久而弥新(1)
184 0
MapReduce —— 历久而弥新(1)
|
Java 流计算
Storm BaseBasicBolt和BaseRichBolt
Storm BaseBasicBolt和BaseRichBolt
846 0
|
分布式计算 Hadoop 流计算
Storm
应用场景 1.信息流处理 Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。即 Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去。
1354 0