启动yarn时报错
-
异常信息
错误原因
在启动子节点（senior02,senior03）时读取slaves时报错。原因是slaves文件有问题。字符编码的问题。解决方法
1、重新创建slaves文件并初始化。touch slaves
2、重新分发slaves文件到主节点resourcemanager
scp -r etc/hadoop/slaves hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/
-
测试是否可以正常解析
子节点无法启动或者停止
-
异常信息
错误原因
没有在slaves中配置子节点。解决方法
修改slaves文件，添加子节点域名
集群环境下HDFS上传put文件出错
-
异常信息
错误原因
复制文件到子节点时无法正常连接132和133子节点。因为防火墙拦截了请求。解决办法
关闭防火墙
重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off
即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop
yarn启动认证失败
-
异常信息
失败原因
yarn启动的时候需要启动子节点，如果没有设置rsa秘钥认证就会报错。
两个linux机器之间使用ssh不需要用户名和密码,采用了数字签名RSA或者DSA来完成这个操作解决办法
1、在resourceManager主节点生成加密文件
ssh-keygen -t rsa
2、复制公钥到子节点（131、133）
命令：
131节点:ssh-copy-id hadoop-senior.beifeng.com
133节点:ssh-copy-id hadoop-senior.beifeng.com
- 测试是否可以免密登入
测试命令：
131节点：ssh hadoop-senior.beifeng.com
133节点：ssh hadoop-senior03.beifeng.com
测试结果
基本测试
集成搭建完成后对个服务进行集成测试。服务是否启动，是否可用
- hdfs
读写操作
bin/hdfs dfs -mkdir
bin/hdfs dfs -put
bin/hdfs dfs -text
- yarn
run jar - mapreduce
bin/yarn jar
基准测试
基准测试是测试集群的性能，
针对hdfs来说 读数据和写数据。压读写速度，测试网络传播速度。测试hdsf的namenode可以管理多少元数据。
yarn map的增加或者减少
监控集群软件
- cloudera Manager :辅助我们部署安装和监控集群、配置、同步、预警等。
