centos+hadoop+hive 安装

简介: 环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql

本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

virtualbox下centos安装

参见网址:

http://blog.csdn.net/risingsun001/article/details/37934975

特别提醒:

virtualbox安装centos的时候需要设置内存大概为1G左右,否则centos不会显示图形化操作界面。

img_1a0d0660797a64de77b06651fe943aad.png

virtualbox啊装centos的时候网络选择桥接模式

img_b690d56bc94b74245d8f89b92b46d0b3.png

启动centos后需要设置连接网络

img_95e6bca2ccb5969f42754487172b4af2.png


centos下hadoop安装

特别提醒:

安装hadoop的需要注意jdk、hadoop的版本,因为这样子网上相同的资料会比较好找,本次安装使用的是hadoop2.6.0、 jdk1.7.0_79。

安装hadoop需要理解下hadoop之间的免密登录的概念,hosts相关的修改等,都是比较细节的内容,但是容易踩坑。

参考文章:

安装介绍:http://www.powerxing.com/install-hadoop-cluster/

安装步骤(好文强力推荐):http://www.cnblogs.com/kevinq/p/5101679.html

免密登录:http://blog.csdn.net/w12345_ww/article/details/51910030

hadoop端口:http://www.cnblogs.com/tnsay/p/5753838.html

机器配置

192.168.0.112 lebron1 作为master

192.168.0.113 lebron2 作为slave


安装jdk

查看已经安装的jdk   rpm -qa | grep jdk 

卸载已经安装的jdk   rpm remove -y xxx

下载jdk安装包   wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

安装jdk  解压jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile后执行source /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin


配置hosts文件

192.168.0.112 lebron1

192.168.0.113 lebron2


建立hadoop账号

新增账号 useradd hadoop

修改密码 passwd hadoop

新增目录 mkdir /usr/local/hadoop

修改权限 chmod 777 –R /usr/local/hadoop


hadoop免密登录

以下为lebron1机器的操作,lebron2机器的操作相同

su hadoop 切换到hadoop账户

ssh-keygen -t rsa 生成密钥文件id_rsa和id_rsa.pub

拷贝lebron1的id_rsa.pub内容到lebron2机器的authorized_keys

su 权限下修改/etc/ssh/sshd_config

RSAAuthentication  yes

PubkeyAuthentication  yes

AuthorizedKeysFile   .ssh/authorized_keys

重启sshd service sshd restart

测试免密连接 ssh lebron1 或 ssh lebron2


安装hadoop

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解压到hadoop目录 /usr/local/hadoop/hadoop-2.6.0

修改/etc/profile新增hadoop环境变量并执行source /etc/profile使生效

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


解决启动问题:WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native


ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop进行

配置可以参见链接:http://www.cnblogs.com/kevinq/p/5101679.html


修改hadoop-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改yarn-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改core-site.xml文件

img_27e1982a00df6f5c68014a3cd26f3b74.png


修改hdfs-site.xml文件

img_443f71451d70d6d7506600a1e2fa27be.png


修改mapred-site.xml文件

img_43e98152e3c8f0a642d77d8d71120891.png


修改yarn-site.xml文件

img_f93833f5b55edd7ade44c60512f86900.png


配置masters和slaves文件

vim slaves 新增slave节点

img_a9d9516de8d06bb4c8dc6727ffa1bf4e.png


向各节点复制hadoop

将配置的hadoop2.6.0复制到各个节点,建议通过scp命令


格式化namenode

hadoop namenode -format,第一次启动的时候需要执行


启动hadoop和yarn

cd /usr/local/hadoop/hadoop-2.6.0/sbin

./start-all.sh


用jps检验各后台进程是否成功启动

img_e082695091326c191fdfcb1df4de8d54.png

PS:查看日志确认下是否没有报错,如果有报错肯定是某些地方配置没有对,重新网上找资料修复即可,如果完全没有问题可以通过hadoop的shell命令操作检验一下。


hive安装

参见:http://blog.csdn.net/u014591781/article/details/52895176

目录
相关文章
|
8天前
|
Linux 虚拟化 数据安全/隐私保护
部署05-VMwareWorkstation中安装CentOS7 Linux操作系统, VMware部署CentOS系统第一步,下载Linux系统,/不要忘, CentOS -7-x86_64-DVD
部署05-VMwareWorkstation中安装CentOS7 Linux操作系统, VMware部署CentOS系统第一步,下载Linux系统,/不要忘, CentOS -7-x86_64-DVD
|
2天前
|
存储 Linux 网络安全
Centos安装Docker的详细安装步骤,Docker相关组件:docker-ce-cli、docker-ce和containerd.io的区别
Centos安装Docker的详细安装步骤,Docker相关组件:docker-ce-cli、docker-ce和containerd.io的区别;CentOS7安装DockerCompose;Docker镜像仓库
|
7天前
|
应用服务中间件 Linux 网络安全
CentOS 7 上安装 Nginx
在 CentOS 7 上安装 Nginx 的步骤包括:添加 EPEL 仓库,安装 Nginx,启动 Nginx,配置防火墙规则,最后通过访问服务器 IP 验证安装是否成功
|
8天前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
16 2
|
11天前
|
Linux Python
【Elasticsearch】linux使用supervisor常驻Elasticsearch,centos6.10安装 supervisor
【Elasticsearch】linux使用supervisor常驻Elasticsearch,centos6.10安装 supervisor
14 3
|
11天前
|
Ubuntu Linux 虚拟化
VMware安装centos7教程(1)
VMware安装centos7教程(1)
69 1
|
15天前
|
安全 关系型数据库 MySQL
CentOS 8 中安装与配置 MySQL
CentOS 8 中安装与配置 MySQL
78 3
|
16天前
|
缓存 Linux Docker
CentOS 7 下安装 Docker 及配置阿里云加速服务
CentOS 7 下安装 Docker 及配置阿里云加速服务
293 1
|
17天前
|
Linux Docker 容器
Centos8安装Docker
Centos8安装Docker
65 1
|
8天前
|
关系型数据库 MySQL Linux
Linux部署实战前言,MySQL在CentOS安装【单机软件】,MySQL的安装需要root权限,yum install mysql,systemctl enable mysqld开机自启的意思
Linux部署实战前言,MySQL在CentOS安装【单机软件】,MySQL的安装需要root权限,yum install mysql,systemctl enable mysqld开机自启的意思