《Storm实时数据处理》一1.10 将产品部署到集群

简介:

本节书摘来华章计算机《Storm实时数据处理》一书中的第1章 ,第1.10节,(澳)Quinton Anderson 著 卢誉声 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.10 将产品部署到集群

在完成整个开发过程之前,我们需要对集群中的Topology进行功能性测试,然后再将其部署到下个环境中。

1.10.1 实战

Step01 首先需要在主机开发环境中配置Storm客户端,在用户主目录下创建.storm目录。然后在这个目录下新建storm.yaml,内容如下:
image

Step02 在项目根目录下,使用以下命令打包Topology:
image

Step03 这样就会在项目的目标目录下生成一个完整并打包好的JAR文件。这时就可以用storm客户端命令将JAR包部署到集群上:
image

1.10.2 解析

Storm命令行客户端为你提供了所有控制集群功能的工具。其中一个功能就是部署打包好的Topology。如果想了解更多有关storm CLI的信息,可以阅读Storm wiki上提供的详细文档,地址是https://github.com/nathanmarz/storm/wiki/Command-line-client

相关文章
|
存储 SQL 大数据
带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(1)
带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(1)
392 0
|
数据采集 JavaScript 前端开发
Python爬虫能处理动态加载的内容吗?
Python爬虫可处理动态加载内容,主要方法包括:使用Selenium模拟浏览器行为;分析网络请求,直接请求API获取数据;利用Pyppeteer控制无头Chrome。这些方法各有优势,适用于不同场景。
|
缓存 Java 调度
优雅的自定义 ThreadPoolExecutor 线程池
优雅的自定义 ThreadPoolExecutor 线程池
|
云计算
阿里云短信验证码平台服务收费价格表
阿里云短信验证码平台服务收费价格表,阿里云短信服务价格表,阿里云短信0.032元一条,阿里云短信价格?阿里云短信怎么收费?阿里云短信多少钱一条,阿里云短信价格0.032元一条
1030 0
|
算法 安全 Unix
翁恺C语言程序设计网课笔记合集
学习自翁恺C语言程序设计网课。
1962 1
翁恺C语言程序设计网课笔记合集
|
存储 算法 C语言
芯片验证 | SystemVerilog使用简介
芯片验证 | SystemVerilog使用简介
448 0
|
机器学习/深度学习 自然语言处理 机器人
更轻松、高效、经济的LLaMA训练——开源大模型训练框架Megatron-LLaMA
9月12日,淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA,旨在让技术开发者们能够更方便地提升大语言模型训练性能,降低训练成本,并保持和LLaMA社区的兼容性。测试显示,在32卡训练上,相比HuggingFace上直接获得的代码版本,Megatron-LLaMA能够取得176%的加速;在大规模的训练上,Megatron-LLaMA相比较32卡拥有几乎线性的扩展性,且对网络不稳定表现出高容忍度。目前Megatron-LLaMA已在开源社区上线。开源地址:https://github.com/alibaba/Megatron-LLaMA
|
弹性计算 负载均衡 容灾
阿里云eip是什么意思?
阿里云eip是什么意思?eip就是弹性公网IP,EIP是可以独立持有的公网IP地址,EIP可以和阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB等绑定,通过EIP可以让你的实例在公网提供服务
622 0
|
设计模式 前端开发 算法
QT5——模版库、工具类及控件(下)
QT5——模版库、工具类及控件
522 0
QT5——模版库、工具类及控件(下)