开发者学堂课程【Hadoop 快速入门:集群配置】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/92/detail/1419
集群配置
虚拟机准备,编写集群分发脚本 xsync 都是各种工具的准备。
①集群部署规划
首先有 hadoop102,103,104分别要配置 HDFS 和 YARN,如 namenode 有128G放到 secondarynamenode 则要除以二,一人只能用 60 G,resourcemanager 是整个集群的第一,
要避开 namenode 和 secondarynamenode .搭建集群,配置 core-site,xml 需要我们配置 namenode 的地址和 hadoop 运作时产生文件的存储目录,之前 name,fs,defaultfs/name 和 value〉
hdfs://hadoop102:9000</value>
放在 101 上,另一个则改成 182 离心目录则不用改;
②需要改 HDFS 配置文件
hadoop 里面有一个 _env,sh,在配置尾分布格式的时候拷贝过来的资料。在 hdfs里面副本是 3,secondary.namenode 需要放在 104 同时对应的 site 号是一个数字。
③yarn 下面则是配置文件
再往下则是 yarn_site.xml. 以前配置的是 nodemanager 和 resourcemanager.
④再往下就是 mapreduce 配置文件
有两个文件,一个是 mapred_env.sh 另一个则是,mapred_site.xml. 需要改名称,改名称里面添加一个程序在在 yarn 上,所有做的都是没有尾分布式的,如有尾分布式,操作则简单多。
集群单节点启动
容易出错地方:
切记直接,bin/hdfs 去格式化内部透,要删除东西 date/logs/102 弄完,用start_dfs,sh,
思考:
每次都是一个一个节点启动,
如果节数增加到 1000 个怎么办?