开发者社区> 余二五> 正文

spark 集群简单配置

简介:
+关注继续查看

一、配置环境变量:

export SPARK_HOME=/usr/hdp/2.2.8.0-3150/spark-1.6.1-bin-hadoop2.6

PATH=$PATH:${SPARK_HOME}/bin

export PATH


二、配置环境:

vi ./conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_73

export SPARK_MASTER_IP=192.168.1.101

export SPARK_WORKER_CORES=2    #当前节点的cpu使用个数

export SPARK_WORKER_MEMORY=1g   #当前节点的内存

export HADOOP_CONF_DIR=/usr/hdp/2.2.8.0-3150/hadoop/etc/hadoop


三、配置节点地址:


vi ./conf/slaves


添加:


192.168.1.101

192.168.1.102

192.168.1.103


四、启动查看:

sbin/start-all.sh


集群页面:192.168.1.103:8080

各个节点的页面地址:192.168.1.101:8081,192.168.1.102:8081,192.168.1.103:8081











本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1765273,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
对Spark硬件配置的建议
对于Spark开发人员来说,一个比较普遍的问题就是如何合理的配置Spark的硬件?当然如何合理的对Spark集群进行硬件配置要视情况而定,在这里给出一些建议
269 0
Hive on Spark安装配置详解
本文主要记录如何安装配置Hive on Spark,并列举遇到的坑及解决办法。
5005 0
Orabbix定制监控Oracle的简单配置
Orabbix是在zabbix的基础上提供的一套插件,能够提供对Oracle的监控功能真是术业有专攻,在Oracle层面zabbix希望也能够走得更远,所以对于Oracle的支持还是比较开放的,而对于Orabbix和zabbix server,zabbix agent的关联关系,可以使用下面的图形来表示,能够说明大体的意思。
939 0
+关注
20380
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载