centos+hadoop+hive 安装

简介: 环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql

本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

virtualbox下centos安装

参见网址:

http://blog.csdn.net/risingsun001/article/details/37934975

特别提醒:

virtualbox安装centos的时候需要设置内存大概为1G左右,否则centos不会显示图形化操作界面。

img_1a0d0660797a64de77b06651fe943aad.png

virtualbox啊装centos的时候网络选择桥接模式

img_b690d56bc94b74245d8f89b92b46d0b3.png

启动centos后需要设置连接网络

img_95e6bca2ccb5969f42754487172b4af2.png


centos下hadoop安装

特别提醒:

安装hadoop的需要注意jdk、hadoop的版本,因为这样子网上相同的资料会比较好找,本次安装使用的是hadoop2.6.0、 jdk1.7.0_79。

安装hadoop需要理解下hadoop之间的免密登录的概念,hosts相关的修改等,都是比较细节的内容,但是容易踩坑。

参考文章:

安装介绍:http://www.powerxing.com/install-hadoop-cluster/

安装步骤(好文强力推荐):http://www.cnblogs.com/kevinq/p/5101679.html

免密登录:http://blog.csdn.net/w12345_ww/article/details/51910030

hadoop端口:http://www.cnblogs.com/tnsay/p/5753838.html

机器配置

192.168.0.112 lebron1 作为master

192.168.0.113 lebron2 作为slave


安装jdk

查看已经安装的jdk   rpm -qa | grep jdk 

卸载已经安装的jdk   rpm remove -y xxx

下载jdk安装包   wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

安装jdk  解压jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile后执行source /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin


配置hosts文件

192.168.0.112 lebron1

192.168.0.113 lebron2


建立hadoop账号

新增账号 useradd hadoop

修改密码 passwd hadoop

新增目录 mkdir /usr/local/hadoop

修改权限 chmod 777 –R /usr/local/hadoop


hadoop免密登录

以下为lebron1机器的操作,lebron2机器的操作相同

su hadoop 切换到hadoop账户

ssh-keygen -t rsa 生成密钥文件id_rsa和id_rsa.pub

拷贝lebron1的id_rsa.pub内容到lebron2机器的authorized_keys

su 权限下修改/etc/ssh/sshd_config

RSAAuthentication  yes

PubkeyAuthentication  yes

AuthorizedKeysFile   .ssh/authorized_keys

重启sshd service sshd restart

测试免密连接 ssh lebron1 或 ssh lebron2


安装hadoop

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解压到hadoop目录 /usr/local/hadoop/hadoop-2.6.0

修改/etc/profile新增hadoop环境变量并执行source /etc/profile使生效

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


解决启动问题:WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native


ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop进行

配置可以参见链接:http://www.cnblogs.com/kevinq/p/5101679.html


修改hadoop-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改yarn-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改core-site.xml文件

img_27e1982a00df6f5c68014a3cd26f3b74.png


修改hdfs-site.xml文件

img_443f71451d70d6d7506600a1e2fa27be.png


修改mapred-site.xml文件

img_43e98152e3c8f0a642d77d8d71120891.png


修改yarn-site.xml文件

img_f93833f5b55edd7ade44c60512f86900.png


配置masters和slaves文件

vim slaves 新增slave节点

img_a9d9516de8d06bb4c8dc6727ffa1bf4e.png


向各节点复制hadoop

将配置的hadoop2.6.0复制到各个节点,建议通过scp命令


格式化namenode

hadoop namenode -format,第一次启动的时候需要执行


启动hadoop和yarn

cd /usr/local/hadoop/hadoop-2.6.0/sbin

./start-all.sh


用jps检验各后台进程是否成功启动

img_e082695091326c191fdfcb1df4de8d54.png

PS:查看日志确认下是否没有报错,如果有报错肯定是某些地方配置没有对,重新网上找资料修复即可,如果完全没有问题可以通过hadoop的shell命令操作检验一下。


hive安装

参见:http://blog.csdn.net/u014591781/article/details/52895176

目录
相关文章
|
2月前
|
存储 安全 Linux
CentOS安装SeaweedFS
通过上述步骤,您应该能够在CentOS系统上成功安装并启动SeaweedFS。记住,根据实际部署规模和需求,可能还需要进一步调整配置参数和优化网络布局。SeaweedFS的灵活性和扩展性意味着随着使用深入,您可能需要探索更多高级配置和管理策略。
107 64
|
2月前
|
存储 安全 Linux
CentOS安装SeaweedFS
通过上述步骤,您应该能够在CentOS系统上成功安装并启动SeaweedFS。记住,根据实际部署规模和需求,可能还需要进一步调整配置参数和优化网络布局。SeaweedFS的灵活性和扩展性意味着随着使用深入,您可能需要探索更多高级配置和管理策略。
116 61
|
16天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
17天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
2月前
|
Linux 网络安全 数据安全/隐私保护
Linux系统之Centos7安装cockpit图形管理界面
【10月更文挑战第12天】Linux系统之Centos7安装cockpit图形管理界面
92 1
Linux系统之Centos7安装cockpit图形管理界面
|
24天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。通过具体案例,读者可以了解如何准备环境、下载源码、编译安装、配置服务及登录 MySQL。编译源码安装虽然复杂,但提供了更高的定制性和灵活性,适用于需要高度定制的场景。
69 3
|
25天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。
本文介绍了在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。内容涵盖准备工作、下载源码、编译安装、配置服务、登录设置及实践心得,帮助读者根据需求选择最适合的安装方法。
46 2
|
2月前
|
NoSQL 数据可视化 Linux
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
本文介绍了Redis的两个可视化管理工具:付费的Redis Desktop Manager和免费的Another Redis DeskTop Manager,包括它们的下载、安装和使用方法,以及在使用Another Redis DeskTop Manager连接Redis时可能遇到的问题和解决方案。
130 1
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
|
27天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
82 2
|
2月前
|
Linux 知识图谱
Centos7安装killall,fuser, killall,pstree和pstree.x11
通过上述步骤,您已在CentOS 7系统中成功部署了killall、fuser、pstree以及pstree.x11,为高效管理系统进程打下了坚实基础。更多关于服务器管理与优化的知识,获取全面技术支持与解决方案。
50 1
下一篇
无影云桌面