命令汇总
网络配置:
hostname 查看主机名
vi /etc/sysconfig/network 设置主机名
ifconfig 查看ip情况
vi /etc/sysconfig/network-scripts/ifcfg-eth0 设置网络
DEVICE=“eth0” 接口名(设备,网卡)
BOOTPROTO=STATIC IP的配置方法(static:固定IP,dhcpHCP,none:手动)
ONBOOT=yes 系统启动的时候网络接口是否有效(yes/no)
IPADDR=192.168.1.2 IP网址
GETEWAY=192.168.1.0 网关
DNS1=202.113.112.55 DNS服务器
service network restart 重启网卡服务
service network start 开始网卡服务
service network stop 停止网卡服务
ifconfig eth0 up|down 关闭和启用指定的网卡
ifconfig 查看配置的ip信息是否生效
vi /etc/ hosts 设置主机名和ip的映射关系
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
ping master
service iptables stop 关闭防火墙
chkconfig iptables off 关闭自启动服务
配置SSH
rpm -qa | grep openssh 查看是否安装了ssh服务
rpm -qa | grep rsync 查看是否安装了rsync服务
yum install ssh 安装ssh协议
yum install rsync rshnc是一个远程数据同步工具
service sshd restart 启动sshd服务
ssh-keygen -t rsa -P ‘’ 生成无密码密钥对(存放路径是
/home/Hadoop/.ssh)
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 将id_rsa.pub追加
到授权的Key中
chmod 600 ~/.ssh/authorized_keys 授予读写的权限
vi /etc/ssh/sshd_config 修改sshd服务的配置文件
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
service sshd restart 重启sshd服务,使修改生效
ssh master 验证ssh登录(第一次会要求输入一次密码)
单点对多点的SSH无密码登录
ssh-keygen
ssh-copy-id storm@slave1 格式是“ssh-copy-id 用户名@主机名”
ssh-copy-id storm@slave2 将本机的公钥复制到远程机器的
authorized_keys文件中
多点对多点的ssh无密码登录
操作起来比较复杂,建议使用脚本语言实现。
每个机器上生成自己的公钥和私钥,并把自己的公钥追加到
authorized_keys文件
安装JDK
root用户登录
mkdir /usr/java 创建/usr/java目录
cp /root/Downloads/jdk-6u31-linux-i584.bin /usr/java 复制
chmod +x jdk-6u31-linux-i584.bin 赋予执行的权限
./jdk-6u31-linux-i584.bin 解压过bin文件
rm -rf jdk-6u31-linux-i584.bin 删除jdk安装文件
vim /etc/profile
在尾部添加如下内容:
# set java environment exportJAVA_HOME=/usr/java/jdk1.6.0_31/ exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
source /etc/profile 使profile的配置文件生效
java –version 验证jdk是否安装成功
安装剩余机器:
scp /usr/java/jdk1.6.0_31/ Hadoop@master: /usr/java/
使用shell脚本安装:
for i in $(seq 1 100); do echo slave$i; scp /usr/java/jdk1.6.0_31/ Hadoop@slave$i: /usr/java/; done
profile环境变量的配置文件也可以配置好后一次发送所有集群中。
Hadoop集群的安装
以root用户登录
cp /root/Downloads/Hadoop-1.0.0.tar.gz /usr
cd /usr
tar -zxvf Hadoop-1.0.0.tar.gz 解压tar.gz的安装包
mv Hadoop-1.0.0 hadoop 文件夹重命名
chown -R Hadoop:Hadoop Hadoop hadoo文件的属主重新分配,-R是递归,hadoop文件夹分配给hadoop组下的hadoop用户
rm –rf Hadoop-1.0.0.tar.gz 删除安装文件(-r是递归,-f是强制)
配置hadoop的环境变量
vi /etc/profile
export HADOOP_HOME=/usr/Hadoop export PATH=$PATH:$HADOOP_HOME/bin
sourcr /etc/profile 使配置生效
配置hadoop
1.配置hadoop-env.sh
文件位于“/usr/Hadoop/conf”
vi /usr/Hadoop/conf/Hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_31
2.配置core-site.xml文件
mkdir /usr/Hadoop/tmp 创建文件夹tmp,用来保存hadoop临时数据 vi /usr/Hadoop/conf/core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> (备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹,默认采用系统的临时目录:/tmp/Hadoop-hadoop。而这个目录每次重启都会被干掉,必须重新执行format才行,否则会出错。) <description>A base for other temporary directories.</description> </property> <!--file system properties ,配置NameNode的访问地址--> <property> <name>fs.default.name</name> <value>hdfs://192.168.1.2:9000</value> </property> </configuration>