hadoop常用命令汇总(上)

简介: hadoop常用命令汇总(上)

命令汇总



网络配置:


hostname          查看主机名


vi   /etc/sysconfig/network    设置主机名


ifconfig                       查看ip情况



vi  /etc/sysconfig/network-scripts/ifcfg-eth0    设置网络


   DEVICE=“eth0”       接口名(设备,网卡)


BOOTPROTO=STATIC    IP的配置方法(static:固定IP,dhcpHCP,none:手动)


ONBOOT=yes             系统启动的时候网络接口是否有效(yes/no)


IPADDR=192.168.1.2       IP网址


GETEWAY=192.168.1.0      网关


DNS1=202.113.112.55      DNS服务器



service  network   restart    重启网卡服务


service  network   start      开始网卡服务


service  network   stop       停止网卡服务



ifconfig  eth0  up|down       关闭和启用指定的网卡



ifconfig                   查看配置的ip信息是否生效




vi   /etc/ hosts               设置主机名和ip的映射关系


     192.168.1.2    master


     192.168.1.3    slave1


     192.168.1.4    slave2



ping   master



service   iptables  stop    关闭防火墙


chkconfig  iptables  off    关闭自启动服务


配置SSH


rpm  -qa  | grep openssh     查看是否安装了ssh服务


rpm  -qa  | grep rsync       查看是否安装了rsync服务



yum  install ssh        安装ssh协议


yum  install rsync      rshnc是一个远程数据同步工具



service   sshd   restart     启动sshd服务



ssh-keygen  -t rsa  -P ‘’  生成无密码密钥对(存放路径是


/home/Hadoop/.ssh)



cat  ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys    将id_rsa.pub追加


到授权的Key中



chmod   600   ~/.ssh/authorized_keys              授予读写的权限



vi   /etc/ssh/sshd_config                   修改sshd服务的配置文件


      RSAAuthentication yes # 启用 RSA 认证


PubkeyAuthentication yes # 启用公钥私钥配对认证方式


AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)


service   sshd   restart  重启sshd服务,使修改生效



ssh   master      验证ssh登录(第一次会要求输入一次密码)




单点对多点的SSH无密码登录


ssh-keygen


ssh-copy-id  storm@slave1      格式是“ssh-copy-id  用户名@主机名”


ssh-copy-id  storm@slave2            将本机的公钥复制到远程机器的


authorized_keys文件中




多点对多点的ssh无密码登录


    操作起来比较复杂,建议使用脚本语言实现。


    每个机器上生成自己的公钥和私钥,并把自己的公钥追加到


authorized_keys文件



安装JDK


root用户登录


mkdir   /usr/java                  创建/usr/java目录


cp /root/Downloads/jdk-6u31-linux-i584.bin  /usr/java   复制


chmod  +x   jdk-6u31-linux-i584.bin     赋予执行的权限


./jdk-6u31-linux-i584.bin             解压过bin文件


rm  -rf   jdk-6u31-linux-i584.bin      删除jdk安装文件



vim   /etc/profile



在尾部添加如下内容:  


# set java environment
exportJAVA_HOME=/usr/java/jdk1.6.0_31/
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin



source  /etc/profile     使profile的配置文件生效



java –version          验证jdk是否安装成功



安装剩余机器:


scp  /usr/java/jdk1.6.0_31/   Hadoop@master: /usr/java/



使用shell脚本安装:


for  i in  $(seq 1  100);
   do  echo   slave$i;
   scp  /usr/java/jdk1.6.0_31/   Hadoop@slave$i: /usr/java/;  
    done


profile环境变量的配置文件也可以配置好后一次发送所有集群中。



Hadoop集群的安装


以root用户登录


cp  /root/Downloads/Hadoop-1.0.0.tar.gz   /usr


cd   /usr


tar   -zxvf  Hadoop-1.0.0.tar.gz       解压tar.gz的安装包


mv  Hadoop-1.0.0   hadoop              文件夹重命名


chown   -R    Hadoop:Hadoop Hadoop    hadoo文件的属主重新分配,-R是递归,hadoop文件夹分配给hadoop组下的hadoop用户



rm –rf   Hadoop-1.0.0.tar.gz     删除安装文件(-r是递归,-f是强制)



配置hadoop的环境变量


vi   /etc/profile

export   HADOOP_HOME=/usr/Hadoop
     export   PATH=$PATH:$HADOOP_HOME/bin


sourcr   /etc/profile          使配置生效



配置hadoop


1.配置hadoop-env.sh


   文件位于“/usr/Hadoop/conf”

vi    /usr/Hadoop/conf/Hadoop-env.sh
        export   JAVA_HOME=/usr/java/jdk1.6.0_31


2.配置core-site.xml文件



mkdir   /usr/Hadoop/tmp      创建文件夹tmp,用来保存hadoop临时数据
  vi   /usr/Hadoop/conf/core-site.xml
     <configuration>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/hadoop/tmp</value>
        (备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹,默认采用系统的临时目录:/tmp/Hadoop-hadoop。而这个目录每次重启都会被干掉,必须重新执行format才行,否则会出错。)
       <description>A base for other temporary directories.</description>
   </property>
<!--file system properties ,配置NameNode的访问地址-->
   <property>
       <name>fs.default.name</name>
        <value>hdfs://192.168.1.2:9000</value>
   </property>
</configuration>
目录
相关文章
|
7月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
711 0
|
存储 分布式计算 Hadoop
aws s3常用命令、hdfs dfs/hadoop fs常用命令
aws s3常用命令、hdfs dfs/hadoop fs常用命令
1201 0
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
43 1
|
3月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
57 1
使用YARN命令管理Hadoop作业
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
5月前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
509 5
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop执行格式化命令
【7月更文挑战第20天】
120 1
|
6月前
|
分布式计算 Hadoop Java
|
7月前
|
存储 分布式计算 资源调度
❤️hadoop常用命令总结及百万调优❤️
❤️hadoop常用命令总结及百万调优❤️
96 0
|
6月前
|
分布式计算 Hadoop Shell
分布式系统详解--框架(Hadoop-基本shell命令)
分布式系统详解--框架(Hadoop-基本shell命令)
42 0

相关实验场景

更多