先看文章大数据||hadoop分布式集群安装
分发包括：通过主节点给子节点分发数据。免密形式
基本测试包括：创建目录，上传文件、读取文件等
HDFS
-
namenode节点格式化（131）
命令bin/hdfs namenode -format
说明：只有第一次部署的格式化。后面不要格式化要不datanode节点启动会报错。
-
启动hdfs
命令：sbin/start-dfs.sh
查看启动结果：jps
-
web页面方式查看
http://hadoop-senior.beifeng.com:50070/dfshealth.html#tab-datanode
-
常见错误
如果hostname配置的不正确导致无法启动datanode，修改后重启服务
如果slaves 没有配置导致只启动一个datanode。
错误排查方式：查看logs下的对应日志文件。
sbin/stop-dfs.sh 命令执行的日志也可以查看错误。停止hdfs时错误
- 测试hdfs
测试命令（创建hdfs系统中文件夹）：bin/hdsf dfs -mkdir -p /user/beifeng/temp
查看结果
上传文件测试命令： bin/hdfs dfs -put etc/hadoop/*-site.xml /user/beifeng/temp
向132服务器同步数据时报错
报错
意思就是坏的连接 网络未通你把防火墙一关就好了。（浪费我2个小时时间）
- 重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off - 即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop
解决办法添加端口50010。vi /etc/sysconfig/iptables
- 测试文件上传put
命令：bin/hdfs dfs -put etc/hadoop/*-site.xml /user/root/user/beifeng/
yarn启动
sbin/start-yarn.sh
-
启动结果正常
测试yarn服务
- 创建MapReduce的input目录
bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input
bin/hdfs dfs -ls /user/beifeng/mapreduce/wordcount/input
- 上传wordcount需要计算的文件
bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/wc.input /user/beifeng/mapreduce/wordcount/input
- 测试yarn服务上的MapReduce
命令： bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output
查看运行结果
bin/hdfs dfs -text /user/beifeng/mapreduce/wordcount/output/part*
