备案控制台
探索云世界
开发者社区 数据库 文章 正文

Centos7在线安装CDH6

2022-05-30 497
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL Serverless，价值2615元额度，1个月
简介： Centos7在线安装CDH6
以下步骤亲测有效无误！！！！！

一、 基础环境准备

1）软件清单
Centos7(64位)服务器3台，地址如下：
jdk1.8
Mysql5.7 （必须要5.7的版本！！）
mysql-connector-java-5.1.42-bin.jar
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel（https://archive.cloudera.com/cdh6/6.3.2/parcels/）
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1（https://archive.cloudera.com/cdh6/6.3.2/parcels/）
manifest.json（https://archive.cloudera.com/cdh6/6.3.2/parcels/）

2）服务器地址
192.168.56.1 （此地址映射你自己的服务器地址）
192.168.56.2 （此地址映射你自己的服务器地址）
192.168.56.3 （此地址映射你自己的服务器地址）

3）修改hostname

vim /etc/hostname

修改主机名为cdh*后进行以下操作

service network restart

4）配置hosts

vim /etc/hosts

192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3

5）免密访问

ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id  root@cdh1
ssh-copy-id  root@cdh2
ssh-copy-id  root@cdh1

6）关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

7）关闭SELINUX

setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled

8）配置NTP

yum -y install ntp
systemctl start ntpd 
systemctl enable ntpd 
在cdh1节点
vim /etc/ntp.conf
#删掉其他server
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
 #删掉其他server
server cdh1 prefer

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat

9）安装JDK

mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/

设置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

java -version

10）安装MySQL

删除自带数据库

rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf

下载依赖并创建用户和组

yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql

安装请参考以下链接：

https://blog.csdn.net/baidu_32872293/article/details/80557668
https://www.cnblogs.com/downmoon/p/11896158.html

设置数据库允许远程登陆

mysql -u root -p
use mysql;
update user set host='%' where user='root';

若报错可能是已经设置好了，用下列语句查看

select host from user where user = 'root';
flush privileges;

更改数据库字符驱动

set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;

查看修改结果

show variables like 'character_set_%';

关闭数据库安全模式，使数据库可以增删改

SET SQL_SAFE_UPDATES=0;

创建数据库并使本地root用户有访问权限

mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to 'root'@'cdh1' identified by '000000' with grant option;
flush privileges;

安装CDH Server（master节点）

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

数据库修改/etc/my.cnf

[mysqld]
validate_password=off
wait_timeout=31536000
interactive_timeout=31536000

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

parcel初始化
新建parcel目录

mkdir -p /opt/cloudera/parcel-repo

将安装包文件复制到默认安装路径

cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
chmod 777 /opt/cloudera/parcel-repo/*

执行创建数据库命令

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hlocalhost  -uroot -p'000000' --scm-host localhost scm scm scm

重启cloudera-scm-server

service cloudera-scm-server restart

地址：http://localhost:7180
用户：admin
密码：admin

安装CDH Agent(每个节点)

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install  cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

修改agent配置

vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1

启动agent

systemctl start cloudera-scm-agent

常见问题汇总

1、检查主机正确性警告解决方式

在三台服务器中执行以下命令

sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2、数据库设置hue数据库无法连接

在cdh2和cdh3节点执行一下命令

scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64

或者参考
https://blog.csdn.net/ckg8933/article/details/83379279

3、hive缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/

4、oozie缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar

5、hue数据库测试连接失败

https://blog.csdn.net/ckg8933/article/details/83379279

6、数据库测试连接失败

https://blog.csdn.net/levy_cui/article/details/51142843

8、hdfs文件夹权限问题

chmod 777 -R nn
chmod 777 -R snn
chmod o-w -R dn
chmod o-w -R var

9、缺少libmysqlclient.so.18()

下载安装此组件
https://download.csdn.net/download/lufengbo123/12195518
或者
sudo wget -O /usr/lib/libmysqlclient.so.18 http://files.directadmin.com/services/es_7.0_64/libmysqlclient.so.18

10、hbase使用中出现各种异常

删除zookeeper下hbase目录，然后重启hbase即可

如果还是出现Master is initializing报错，则在zookeeper中删除hbase目录后，停止hbase集群，使用 hdfs dfs -rmr /hbase即可
删除hdfs文件后，在hbase前端新建hbase根目录然后重启即可。

11、启动前

看看各个组件内部是否需要创建文件夹和数据库

12、hue中使用hbase报错

Hbase设置一下选项

在这里插入图片描述

hue中添加以下选项
[hbase]
thrift_transport=buffered

在这里插入图片描述
在这里插入图片描述

文章标签：
云数据库HBase版
云数据库 RDS MySQL 版
Java
SQL
关系型数据库
Linux
数据安全/隐私保护
MySQL
Hbase
HIVE
数据库
分布式数据库
关键词：
CentOS安装
CentOs安装CDH
CentOS CDH
相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
PowerData
目录
相关文章
vzmvmwcrnweq2
|
1月前
|
Linux 网络安全 数据安全/隐私保护
如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程（附链接）
如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程（附链接）
vzmvmwcrnweq2
176 0
1932836719192345
|
2月前
|
关系型数据库 MySQL Linux
centos7.0环境下安装MySql_8.0.12
centos7.0环境下安装MySql_8.0.12
1932836719192345
275 2
图灵重生我名苏泽
|
1月前
|
存储 JavaScript Linux
Linux环境下安装nmp（Centos环境）保姆级教学 一步到位
Linux环境下安装nmp（Centos环境）保姆级教学 一步到位
图灵重生我名苏泽
57 1
渐暖
|
5天前
|
Linux
centos 6.5安装yum
centos 6.5安装yum
渐暖
26 0
XPcode7
|
5天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置PXE服务
PXE是Intel开发的预启动执行环境，允许工作站通过网络从远程服务器启动操作系统。它依赖DHCP分配IP，DNS服务分配主机名，TFTP提供引导程序，HTTP/FTP/NFS提供安装源。要部署PXE服务器，需关闭selinux和防火墙，安装dhcpd、httpd、tftp、xinetd及相关服务，配置引导文件和Centos7安装源。最后，通过syslinux安装引导文件，并创建pxelinux.cfg/default配置文件来定义启动参数。
XPcode7
18 0
XPcode7
|
5天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置postfix服务
安装CentOS7的Postfix和Dovecot，配置Postfix的`main.cf`文件，包括修改完全域名、允许所有IP、启用邮箱等。然后，配置Dovecot的多个配置文件以启用auth服务和调整相关设置。重启Postfix和Dovecot，设置开机自启，并关闭防火墙进行测试。最后，创建邮箱账户并在Windows邮箱客户端中添加账户设置。
XPcode7
12 0
XPcode7
|
5天前
|
Linux 网络安全
Centos6.5安装并配置NFS服务
该内容描述了在Linux系统中设置NFS服务的步骤。首先挂载yum源，然后安装NFS服务，并编辑配置文件。接着，重启rpcbind和NFS服务，可能需要重复此过程以解决初始可能出现的问题。此外，关闭防火墙策略，并再次重启服务。最终，根目录被共享，特定IP网段被允许访问。
XPcode7
13 0
蓝易云
|
6天前
|
存储 Linux 网络安全
centos7使用yum网络安装
这些是使用Yum进行网络安装的基本步骤。根据你的需求，你可以重复步骤3和4来安装其他软件包。请注意，执行Yum操作需要root或具有sudo权限的用户。
蓝易云
21 1
橙子先生
|
12天前
|
关系型数据库 MySQL Linux
centos7安装mysql-带网盘安装包
centos7安装mysql-带网盘安装包
橙子先生
62 2
jianz123
|
19天前
|
存储 Linux Shell
centos 部署docker容器 安装 、基本使用方法（一）
centos 部署docker容器 安装 、基本使用方法（一）
jianz123
33 0

热门文章

最新文章

  • 1
    CentOS8中Docker安装及部署
  • 2
    CentOS 7 下使用yum安装MySQL5.7.20 最简单 图文详解
  • 3
    linux centos7 挂载本地iso yum源
  • 4
    centos6.0下Error:Connectionactivationfailed:DevicenotmanagedbyNetworkManager解决办法
  • 5
    centos7安装mysql-带网盘安装包
  • 6
    Centos7的虚拟机创建流程
  • 7
    Centos7 /etc/sysconfig/network-scripts/ifcfg-＜interface＞网络配置
  • 8
    Centos 防火墙端口控制命令
  • 9
    centos7 Nginx Log日志统计分析 常用命令
  • 10
    Centos7.9的ip更改--详细版
  • 1
    【MYSQL】—— MySQL 在 Centos 7环境安装
    53
  • 2
    服务器Centos7 静默安装Oracle Database 12.2
    86
  • 3
    Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
    29
  • 4
    如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程（附链接）
    176
  • 5
    Linux环境下安装nmp（Centos环境）保姆级教学 一步到位
    57
  • 6
    Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
    34
  • 7
    【VMware安装+centos 7Linux系统+MySQL安装】——在Linux系统中安装MySQL步骤，以及遇见的各种问题（如：vm两个虚拟网卡消失、vm网络适配器有感叹号等等）
    189
  • 8
    阿里云ECS(CentOS镜像)安装docker
    390
  • 9
    【PUSDN】centos查看日志文件内容，包含某个关键字的前后5行日志内容，centos查看日志的几种方法
    50
  • 10
    Centos8下编译安装最新版ffmpeg解决方案（含Centos8换源阿里云）
    156

    • 相关课程

    更多
  • Linux软件包安装和yum仓库实战
  • Linux MySQL服务器搭建与应用

    • 相关电子书

    更多
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册
  • 阿里云Elasticsearch2.0发布

    • 相关实验场景

    更多
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 基于ROS一键安装LAMP环境
  • 手动部署MySQL数据库（CentOS 7）
  • 部署并使用Docker（CentOS 8）
  • 手动搭建FTP站点（CentOS 8）
  • 部署Linux主机管理系统WDCP

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）