《Storm实时数据处理》一1.10 将产品部署到集群

简介:

本节书摘来华章计算机《Storm实时数据处理》一书中的第1章 ,第1.10节,(澳)Quinton Anderson 著 卢誉声 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.10 将产品部署到集群

在完成整个开发过程之前,我们需要对集群中的Topology进行功能性测试,然后再将其部署到下个环境中。

1.10.1 实战

Step01 首先需要在主机开发环境中配置Storm客户端,在用户主目录下创建.storm目录。然后在这个目录下新建storm.yaml,内容如下:
image

Step02 在项目根目录下,使用以下命令打包Topology:
image

Step03 这样就会在项目的目标目录下生成一个完整并打包好的JAR文件。这时就可以用storm客户端命令将JAR包部署到集群上:
image

1.10.2 解析

Storm命令行客户端为你提供了所有控制集群功能的工具。其中一个功能就是部署打包好的Topology。如果想了解更多有关storm CLI的信息,可以阅读Storm wiki上提供的详细文档,地址是https://github.com/nathanmarz/storm/wiki/Command-line-client

相关文章
|
消息中间件 SQL JSON
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
文章开始之前先说明环境情况,这里kylin消费的kafka数据是从Oracle 数据库用Ogg For Bigdata以json格式将数据投递到kafka topic的,投递的时候,关于insert和update 之前的数据投递到名为 ZTVOUCHER_INS 的topic,而delete和update之后的数据投递到名为 ZTVOUCHER_DEL 的topic中,这里主要介绍kylin如何消费数据创建流式cube。
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
|
存储 SQL 消息中间件
Flink未来-将与 Pulsar集成提供大规模的弹性数据处理
Flink未来-将与 Pulsar集成提供大规模的弹性数据处理
254 0
Flink未来-将与 Pulsar集成提供大规模的弹性数据处理
|
消息中间件 存储 大数据
实时流处理框架之Storm的安装与部署
实时流处理框架之Storm的安装与部署
196 0
实时流处理框架之Storm的安装与部署
|
分布式计算 监控 测试技术
《Storm实时数据处理》一导读
开源已经在许多方面从根本上改变了软件的原有面貌。在很多应用环境中,人们都会争论使用开源带来的好处和坏处,主要体现在支持、风险以及总体拥有成本等方面。开源在某些领域比其他领域流行,比如在研究机构中就比在大型金融服务提供商中应用得多。
1233 0