hadoop安装过程命令汇总(上)

简介: hadoop安装过程命令汇总(上)

命令汇总



网络配置:


hostname          查看主机名


vi   /etc/sysconfig/network    设置主机名


ifconfig                       查看ip情况



vi  /etc/sysconfig/network-scripts/ifcfg-eth0    设置网络


   DEVICE=“eth0”       接口名(设备,网卡)


BOOTPROTO=STATIC    IP的配置方法(static:固定IP,dhcpHCP,none:手动)


ONBOOT=yes             系统启动的时候网络接口是否有效(yes/no)


IPADDR=192.168.1.2       IP网址


GETEWAY=192.168.1.0      网关


DNS1=202.113.112.55      DNS服务器



service  network   restart    重启网卡服务


service  network   start      开始网卡服务


service  network   stop       停止网卡服务



ifconfig  eth0  up|down       关闭和启用指定的网卡



ifconfig                   查看配置的ip信息是否生效



vi   /etc/ hosts               设置主机名和ip的映射关系


     192.168.1.2    master


     192.168.1.3    slave1


     192.168.1.4    slave2



ping   master



service   iptables  stop    关闭防火墙


chkconfig  iptables  off    关闭自启动服务




配置SSH


rpm  -qa  | grep openssh     查看是否安装了ssh服务


rpm  -qa  | grep rsync       查看是否安装了rsync服务



yum  install ssh        安装ssh协议


yum  install rsync      rshnc是一个远程数据同步工具



service   sshd   restart     启动sshd服务



ssh-keygen  -t rsa  -P ‘’  生成无密码密钥对(存放路径是


/home/Hadoop/.ssh)



cat  ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys    将id_rsa.pub追加


到授权的Key中



chmod   600   ~/.ssh/authorized_keys              授予读写的权限



vi   /etc/ssh/sshd_config                   修改sshd服务的配置文件


      RSAAuthentication yes # 启用 RSA 认证


PubkeyAuthentication yes # 启用公钥私钥配对认证方式


AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)


service   sshd   restart  重启sshd服务,使修改生效



ssh   master      验证ssh登录(第一次会要求输入一次密码)




单点对多点的SSH无密码登录


ssh-keygen


ssh-copy-id  storm@slave1      格式是“ssh-copy-id  用户名@主机名”


ssh-copy-id  storm@slave2            将本机的公钥复制到远程机器的


authorized_keys文件中




多点对多点的ssh无密码登录


    操作起来比较复杂,建议使用脚本语言实现。


    每个机器上生成自己的公钥和私钥,并把自己的公钥追加到


authorized_keys文件





安装JDK


root用户登录


mkdir   /usr/java                  创建/usr/java目录


cp /root/Downloads/jdk-6u31-linux-i584.bin  /usr/java   复制


chmod  +x   jdk-6u31-linux-i584.bin     赋予执行的权限


./jdk-6u31-linux-i584.bin              解压过bin文件


rm  -rf   jdk-6u31-linux-i584.bin      删除jdk安装文件



vim   /etc/profile



在尾部添加如下内容:  


# set java environment
exportJAVA_HOME=/usr/java/jdk1.6.0_31/
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin


source  /etc/profile     使profile的配置文件生效


java –version          验证jdk是否安装成功


安装剩余机器:


scp  /usr/java/jdk1.6.0_31/   Hadoop@master: /usr/java/



使用shell脚本安装:

for  i in  $(seq 1  100);
   do  echo   slave$i;
   scp  /usr/java/jdk1.6.0_31/   Hadoop@slave$i: /usr/java/;  
    done


profile环境变量的配置文件也可以配置好后一次发送所有集群中。



Hadoop集群的安装


以root用户登录


cp  /root/Downloads/Hadoop-1.0.0.tar.gz   /usr
cd   /usr


tar   -zxvf  Hadoop-1.0.0.tar.gz       解压tar.gz的安装包


mv  Hadoop-1.0.0   hadoop              文件夹重命名


chown   -R    Hadoop:Hadoop  Hadoop   hadoo文件的属主重新分配,-R是递归,hadoop文件夹分配给hadoop组下的hadoop用户



rm –rf   Hadoop-1.0.0.tar.gz     删除安装文件(-r是递归,-f是强制)


目录
相关文章
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
69 3
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
43 1
|
3月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
57 1
使用YARN命令管理Hadoop作业
|
4月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
4月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
36 1
|
5月前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
509 5
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop执行格式化命令
【7月更文挑战第20天】
120 1
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
71 2
|
6月前
|
分布式计算 Hadoop Java

相关实验场景

更多