简要描述Spark分布式集群搭建的步骤-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

简要描述Spark分布式集群搭建的步骤

茶什i 2019-10-25 16:14:11 531

简要描述Spark分布式集群搭建的步骤

分布式计算 Spark
分享到
取消 提交回答
全部回答(1)
  • 珍宝珠
    2019-10-25 16:21:45

    1)准备linux环境,设置集群搭建账号和用户组,设置ssh,关闭防火墙,关闭seLinux,配置host,hostname
    2)配置jdk到环境变量
    3)搭建hadoop集群,如果要做master ha,需要搭建zookeeper集群 修改hdfs-site.xml,hadoop_env.sh,yarn-site.xml,slaves等配置文件
    4)启动hadoop集群,启动前要格式化namenode
    5)配置spark集群,修改spark-env.xml,slaves等配置文件,拷贝hadoop相关配置到spark conf目录下
    6)启动spark集群。

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题