hadoop集群的部署
Hadoop集群安装部署
1、服务器主机名和IP配置（三台） 2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台） 3、管理节点到从节点配置无密码登录 4、配置jdk 1.8（三台） 5、关闭防火墙（三台） 6、关闭selinux（三台） vi /etc/selinux/config SELINUX=enforcing SELINUX=disabled 重启系统
安装流程
1、上传软件包到管理节点，在管理节点解压并配置 2、将修改完的解压包，远程拷贝到所有的从节点 3、启动软件
Hadoop安装部署
1、软件包上传并解压
a)tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C ../servers/
2、第二步查看hadoop支持的压缩方式以及本地库
a)./hadoop checknative
b)安装openssl yum -y install openssl-devel ./hadoop checknative
3、修改配置文件
a)core-site.xml b)hdfs-site.xml c)Hadoop-env.sh （不用改） d)mapred-site.xml i.cp mapred-site.xml.template mapred-site.xml ii.修改 e)yarn-site.xml f)slaves
4、创建文件夹
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
5、安装包的分发
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD
6、配置hadoop环境变量
a) 创建文件/etc/profile.d/hadoop.sh 并编辑 export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=$PATH:$HADOOP_HOME/bin b)source /etc/profile
7、启动集群
a)格式化集群
在第一个节点执行 hadoop namenode -format
b)启动
i.每个组件独立启动
1.启动namenode node01节点 ./hadoop-daemon.sh start namenode 2.启动namenode node01、02、03节点 ./hadoop-daemon.sh start datanode 3.启动resourcemanager node01节点 ./yarn-daemon.sh start resourcemanager 4.启动nodemanager node01、02、03节点 ./yarn-daemon.sh start nodemanager
ii.单独启动
1.单独启动HDFS : ./start-dfs.sh 关闭 ./stop-dfs.sh 2.单独启动Yarn : ./start-yarn.sh 关闭 ./stop-yarn.sh
iii.一键启动所有
启动：
./start-all.sh
关闭：
./stop-all.sh
总结:
组件启动有一定顺序,必须严格依照
8、浏览器查看启动页面
http://主节点ip:50070
http://主节点ip:8088
Hadoop集群初体验
数据的上传
创建文件夹：hadoop fs -mkdir /BD19 查看文件夹内容： hadoop fs -ls /BD19 上传数据：hadoop fs -put XXX.txt /BD19
大数据计算
计算pi 3.141592653…… hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/ hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 10 100
