备案控制台
开发者社区 数据库 文章 正文

Centos7在线安装CDH6

2022-05-30 503
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL Serverless，价值2615元额度，1个月
简介： Centos7在线安装CDH6
以下步骤亲测有效无误！！！！！

一、 基础环境准备

1）软件清单
Centos7(64位)服务器3台，地址如下：
jdk1.8
Mysql5.7 （必须要5.7的版本！！）
mysql-connector-java-5.1.42-bin.jar
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm（https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/）
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel（https://archive.cloudera.com/cdh6/6.3.2/parcels/）
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1（https://archive.cloudera.com/cdh6/6.3.2/parcels/）
manifest.json（https://archive.cloudera.com/cdh6/6.3.2/parcels/）

2）服务器地址
192.168.56.1 （此地址映射你自己的服务器地址）
192.168.56.2 （此地址映射你自己的服务器地址）
192.168.56.3 （此地址映射你自己的服务器地址）

3）修改hostname

vim /etc/hostname

修改主机名为cdh*后进行以下操作

service network restart

4）配置hosts

vim /etc/hosts

192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3

5）免密访问

ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id  root@cdh1
ssh-copy-id  root@cdh2
ssh-copy-id  root@cdh1

6）关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

7）关闭SELINUX

setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled

8）配置NTP

yum -y install ntp
systemctl start ntpd 
systemctl enable ntpd 
在cdh1节点
vim /etc/ntp.conf
#删掉其他server
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
 #删掉其他server
server cdh1 prefer

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat

9）安装JDK

mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/

设置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

java -version

10）安装MySQL

删除自带数据库

rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf

下载依赖并创建用户和组

yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql

安装请参考以下链接：

https://blog.csdn.net/baidu_32872293/article/details/80557668
https://www.cnblogs.com/downmoon/p/11896158.html

设置数据库允许远程登陆

mysql -u root -p
use mysql;
update user set host='%' where user='root';

若报错可能是已经设置好了，用下列语句查看

select host from user where user = 'root';
flush privileges;

更改数据库字符驱动

set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;

查看修改结果

show variables like 'character_set_%';

关闭数据库安全模式，使数据库可以增删改

SET SQL_SAFE_UPDATES=0;

创建数据库并使本地root用户有访问权限

mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to 'root'@'cdh1' identified by '000000' with grant option;
flush privileges;

安装CDH Server（master节点）

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

数据库修改/etc/my.cnf

[mysqld]
validate_password=off
wait_timeout=31536000
interactive_timeout=31536000

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

parcel初始化
新建parcel目录

mkdir -p /opt/cloudera/parcel-repo

将安装包文件复制到默认安装路径

cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
chmod 777 /opt/cloudera/parcel-repo/*

执行创建数据库命令

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hlocalhost  -uroot -p'000000' --scm-host localhost scm scm scm

重启cloudera-scm-server

service cloudera-scm-server restart

地址：http://localhost:7180
用户：admin
密码：admin

安装CDH Agent(每个节点)

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install  cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

修改agent配置

vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1

启动agent

systemctl start cloudera-scm-agent

常见问题汇总

1、检查主机正确性警告解决方式

在三台服务器中执行以下命令

sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2、数据库设置hue数据库无法连接

在cdh2和cdh3节点执行一下命令

scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64

或者参考
https://blog.csdn.net/ckg8933/article/details/83379279

3、hive缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/

4、oozie缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar

5、hue数据库测试连接失败

https://blog.csdn.net/ckg8933/article/details/83379279

6、数据库测试连接失败

https://blog.csdn.net/levy_cui/article/details/51142843

8、hdfs文件夹权限问题

chmod 777 -R nn
chmod 777 -R snn
chmod o-w -R dn
chmod o-w -R var

9、缺少libmysqlclient.so.18()

下载安装此组件
https://download.csdn.net/download/lufengbo123/12195518
或者
sudo wget -O /usr/lib/libmysqlclient.so.18 http://files.directadmin.com/services/es_7.0_64/libmysqlclient.so.18

10、hbase使用中出现各种异常

删除zookeeper下hbase目录，然后重启hbase即可

如果还是出现Master is initializing报错，则在zookeeper中删除hbase目录后，停止hbase集群，使用 hdfs dfs -rmr /hbase即可
删除hdfs文件后，在hbase前端新建hbase根目录然后重启即可。

11、启动前

看看各个组件内部是否需要创建文件夹和数据库

12、hue中使用hbase报错

Hbase设置一下选项

在这里插入图片描述

hue中添加以下选项
[hbase]
thrift_transport=buffered

在这里插入图片描述
在这里插入图片描述

文章标签：
云数据库HBase版
云数据库 RDS MySQL 版
Java
SQL
关系型数据库
Linux
数据安全/隐私保护
MySQL
Hbase
HIVE
数据库
分布式数据库
关键词：
CentOS安装
CentOs安装CDH
CentOS CDH
相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
PowerData
目录
相关文章
宁波阿成.
|
2天前
|
网络协议 Linux Docker
在centos7下通过docker 安装onlyoffice
在centos7下通过docker 安装onlyoffice
宁波阿成.
9 0
宁波阿成.
|
1天前
|
前端开发 jenkins 持续交付
新的centos7.9安装docker版本的jenkins2.436.1最新版本-前端项目发布（五）
新的centos7.9安装docker版本的jenkins2.436.1最新版本-前端项目发布（五）
宁波阿成.
7 1
宁波阿成.
|
1天前
|
jenkins 网络安全 持续交付
新的centos7.9安装docker版本的jenkins2.436.1最新版本-后端项目发布（四）
新的centos7.9安装docker版本的jenkins2.436.1最新版本-后端项目发布（四）
宁波阿成.
9 3
宁波阿成.
|
1天前
|
Java 开发工具 git
新的centos7.9安装docker版本的jenkins2.436.1最新版本-项目发布（三）
新的centos7.9安装docker版本的jenkins2.436.1最新版本-项目发布（三）
宁波阿成.
10 4
宁波阿成.
|
1天前
|
Oracle jenkins 持续交付
新的centos7.9安装jenkins（二）
新的centos7.9安装jenkins（二）
宁波阿成.
5 1
宁波阿成.
|
1天前
|
jenkins Java 持续交付
新的centos7.9安装jenkins—（一）
新的centos7.9安装jenkins—（一）
宁波阿成.
8 0
宁波阿成.
|
1天前
|
网络安全 Docker 容器
测试开发环境下centos7.9下安装docker的minio
测试开发环境下centos7.9下安装docker的minio
宁波阿成.
7 1
Nerohua
|
2天前
|
Linux Apache
Centos7 安装Apache
安装Apache的步骤
Nerohua
16 6
宁波阿成.
|
2天前
|
NoSQL Linux Redis
本地虚拟机centos7通过docker安装主从redis3.2
本地虚拟机centos7通过docker安装主从redis3.2
宁波阿成.
10 0
宁波阿成.
|
2天前
|
关系型数据库 MySQL Linux
本地虚拟机centos7通过docker安装主从mysql5.7.21
本地虚拟机centos7通过docker安装主从mysql5.7.21
宁波阿成.
10 0

热门文章

最新文章

  • 1
    CentOS通过DNSpod实现动态域名
  • 2
    CentOS7(6.5)升级docker到较新版
  • 3
    centos 关闭selinux
  • 4
    centos 6.5 安装rsync
  • 5
    CentOS中iptables防火墙 开放80端口方法
  • 6
    CentOS7 yum lamp 虚拟主机配置 lamp各组件简单影响性能的参数调整--for 一定的环境需求
  • 7
    CentOS下MongoDB的升级
  • 8
    CentOS 6 kickstart 部署脚本
  • 9
    CentOS 6.3下安装加密的vsftpd
  • 10
    在虚拟机上安装centos7
  • 1
    【MYSQL】—— MySQL 在 Centos 7环境安装
    70
  • 2
    服务器Centos7 静默安装Oracle Database 12.2
    111
  • 3
    Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
    40
  • 4
    如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程（附链接）
    204
  • 5
    Linux环境下安装nmp（Centos环境）保姆级教学 一步到位
    61
  • 6
    Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
    39
  • 7
    【VMware安装+centos 7Linux系统+MySQL安装】——在Linux系统中安装MySQL步骤，以及遇见的各种问题（如：vm两个虚拟网卡消失、vm网络适配器有感叹号等等）
    197
  • 8
    阿里云ECS(CentOS镜像)安装docker
    417
  • 9
    【PUSDN】centos查看日志文件内容，包含某个关键字的前后5行日志内容，centos查看日志的几种方法
    52
  • 10
    Centos8下编译安装最新版ffmpeg解决方案（含Centos8换源阿里云）
    177

    • 相关课程

    更多
  • Linux软件包安装和yum仓库实战

    • 相关电子书

    更多
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册
  • 阿里云Elasticsearch2.0发布

    • 相关实验场景

    更多
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 基于ROS一键安装LAMP环境
  • 手动部署MySQL数据库（CentOS 7）
  • 部署并使用Docker（CentOS 8）
  • 手动搭建FTP站点（CentOS 8）
  • 部署LAMP环境（Ubuntu 20）

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）