Hadoop平台集群配置、环境变量设置?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Hadoop平台集群配置、环境变量设置?

茶什i 2019-10-29 14:35:28 387

Hadoop平台集群配置、环境变量设置?

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • 珍宝珠
    2019-10-30 15:41:02

    zookeeper:修改zoo.cfg文件,配置dataDir,和各个zk节点的server地址端口,tickTime心跳时间默认是2000ms,其他超时的时间都是以这个为基础的整数倍,之后再dataDir对应目录下写入myid文件和zoo.cfg中的server相对应。 hadoop:修改
    hadoop-env.sh配置java环境变量
    core-site.xml配置zk地址,临时目录等
    hdfs-site.xml配置nn信息,rpc和http通信地址,nn自动切换、zk连接超时时间等
    yarn-site.xml配置resourcemanager地址
    mapred-site.xml配置使用yarn
    slaves配置节点信息
    格式化nn和zk。
    hbase:修改
    hbase-env.sh配置java环境变量和是否使用自带的zk
    hbase-site.xml配置hdfs上数据存放路径,zk地址和通讯超时时间、master节点
    regionservers配置各个region节点
    zoo.cfg拷贝到conf目录下
    spark:
    安装Scala
    修改spark-env.sh配置环境变量和master和worker节点配置信息
    环境变量的设置:直接在/etc/profile中配置安装的路径即可,或者在当前用户的宿主目录下,配置在.bashrc文件中,该文件不用source重新打开shell窗口即可,配置在.bash_profile的话只对当前用户有效。

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程