开发者社区> 问答> 正文

Hadoop平台集群配置、环境变量设置?

Hadoop平台集群配置、环境变量设置?

展开
收起
茶什i 2019-10-29 14:35:28 1564 0
1 条回答
写回答
取消 提交回答
  • zookeeper:修改zoo.cfg文件,配置dataDir,和各个zk节点的server地址端口,tickTime心跳时间默认是2000ms,其他超时的时间都是以这个为基础的整数倍,之后再dataDir对应目录下写入myid文件和zoo.cfg中的server相对应。 hadoop:修改
    hadoop-env.sh配置java环境变量
    core-site.xml配置zk地址,临时目录等
    hdfs-site.xml配置nn信息,rpc和http通信地址,nn自动切换、zk连接超时时间等
    yarn-site.xml配置resourcemanager地址
    mapred-site.xml配置使用yarn
    slaves配置节点信息
    格式化nn和zk。
    hbase:修改
    hbase-env.sh配置java环境变量和是否使用自带的zk
    hbase-site.xml配置hdfs上数据存放路径,zk地址和通讯超时时间、master节点
    regionservers配置各个region节点
    zoo.cfg拷贝到conf目录下
    spark:
    安装Scala
    修改spark-env.sh配置环境变量和master和worker节点配置信息
    环境变量的设置:直接在/etc/profile中配置安装的路径即可,或者在当前用户的宿主目录下,配置在.bashrc文件中,该文件不用source重新打开shell窗口即可,配置在.bash_profile的话只对当前用户有效。

    2019-10-30 15:41:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Why is my Hadoop* job slow 立即下载
Hadoop存储与计算分离实践 立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \" 立即下载

相关实验场景

更多