AI 助理
备案控制台
开发者社区 数据库 文章 正文

Centos7在线安装CDH6

2022-05-30 567
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介： Centos7在线安装CDH6
以下步骤亲测有效无误！！！！！

一、 基础环境准备

1）软件清单
Centos7(64位)服务器3台，地址如下：
jdk1.8
Mysql5.7 （必须要5.7的版本！！）
mysql-connector-java-5.1.42-bin.jar
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

2）服务器地址
192.168.56.1 （此地址映射你自己的服务器地址）
192.168.56.2 （此地址映射你自己的服务器地址）
192.168.56.3 （此地址映射你自己的服务器地址）

3）修改hostname

vim /etc/hostname

修改主机名为cdh*后进行以下操作

service network restart

4）配置hosts

vim /etc/hosts

192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3

5）免密访问

ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id  root@cdh1
ssh-copy-id  root@cdh2
ssh-copy-id  root@cdh1

6）关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

7）关闭SELINUX

setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled

8）配置NTP

yum -y install ntp
systemctl start ntpd 
systemctl enable ntpd 
在cdh1节点
vim /etc/ntp.conf
#删掉其他server
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
 #删掉其他server
server cdh1 prefer

systemctl restart ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat

9）安装JDK

mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/

设置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

java -version

10）安装MySQL

删除自带数据库

rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf

下载依赖并创建用户和组

yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql

安装请参考以下链接：

https://blog.csdn.net/baidu_32872293/article/details/80557668
https://www.cnblogs.com/downmoon/p/11896158.html

设置数据库允许远程登陆

mysql -u root -p
use mysql;
update user set host='%' where user='root';

若报错可能是已经设置好了，用下列语句查看

select host from user where user = 'root';
flush privileges;

更改数据库字符驱动

set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;

查看修改结果

show variables like 'character_set_%';

关闭数据库安全模式，使数据库可以增删改

SET SQL_SAFE_UPDATES=0;

创建数据库并使本地root用户有访问权限

mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to 'root'@'cdh1' identified by '000000' with grant option;
flush privileges;

安装CDH Server（master节点）

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

数据库修改/etc/my.cnf

[mysqld]
validate_password=off
wait_timeout=31536000
interactive_timeout=31536000

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

parcel初始化
新建parcel目录

mkdir -p /opt/cloudera/parcel-repo

将安装包文件复制到默认安装路径

cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
chmod 777 /opt/cloudera/parcel-repo/*

执行创建数据库命令

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hlocalhost  -uroot -p'000000' --scm-host localhost scm scm scm

重启cloudera-scm-server

service cloudera-scm-server restart

用户：admin
密码：admin

安装CDH Agent(每个节点)

提前准备：

将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下

安装cloudera的rpm

yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

yum install  cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

修改agent配置

vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1

启动agent

systemctl start cloudera-scm-agent

常见问题汇总

1、检查主机正确性警告解决方式

在三台服务器中执行以下命令

sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2、数据库设置hue数据库无法连接

在cdh2和cdh3节点执行一下命令

scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64

或者参考
https://blog.csdn.net/ckg8933/article/details/83379279

3、hive缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/

4、oozie缺少mysql驱动

cdh1执行

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar

5、hue数据库测试连接失败

https://blog.csdn.net/ckg8933/article/details/83379279

6、数据库测试连接失败

https://blog.csdn.net/levy_cui/article/details/51142843

8、hdfs文件夹权限问题

chmod 777 -R nn
chmod 777 -R snn
chmod o-w -R dn
chmod o-w -R var

9、缺少libmysqlclient.so.18()

下载安装此组件
https://download.csdn.net/download/lufengbo123/12195518
或者
sudo wget -O /usr/lib/libmysqlclient.so.18 http://files.directadmin.com/services/es_7.0_64/libmysqlclient.so.18

10、hbase使用中出现各种异常

删除zookeeper下hbase目录，然后重启hbase即可

如果还是出现Master is initializing报错，则在zookeeper中删除hbase目录后，停止hbase集群，使用 hdfs dfs -rmr /hbase即可
删除hdfs文件后，在hbase前端新建hbase根目录然后重启即可。

11、启动前

看看各个组件内部是否需要创建文件夹和数据库

12、hue中使用hbase报错

Hbase设置一下选项

在这里插入图片描述

hue中添加以下选项
[hbase]
thrift_transport=buffered

在这里插入图片描述
在这里插入图片描述

文章标签：
云数据库HBase版
云数据库 RDS MySQL 版
Java
SQL
关系型数据库
Linux
数据安全/隐私保护
MySQL
Hbase
HIVE
数据库
分布式数据库
关键词：
CentOS安装
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入，无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
PowerData
目录
相关文章
蓝易云
|
1月前
|
存储 安全 Linux
CentOS安装SeaweedFS
通过上述步骤，您应该能够在CentOS系统上成功安装并启动SeaweedFS。记住，根据实际部署规模和需求，可能还需要进一步调整配置参数和优化网络布局。SeaweedFS的灵活性和扩展性意味着随着使用深入，您可能需要探索更多高级配置和管理策略。
蓝易云
104 64
蓝易云
|
1月前
|
存储 安全 Linux
CentOS安装SeaweedFS
通过上述步骤，您应该能够在CentOS系统上成功安装并启动SeaweedFS。记住，根据实际部署规模和需求，可能还需要进一步调整配置参数和优化网络布局。SeaweedFS的灵活性和扩展性意味着随着使用深入，您可能需要探索更多高级配置和管理策略。
蓝易云
111 61
小王老师呀
|
6天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤，包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤，您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
小王老师呀
28 1
小王老师呀
|
7天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤，包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化（可选）。通过这些步骤，你可以成功安装并初步配置 SQL Server 2019，进行简单的数据库操作。
小王老师呀
22 1
江湖有缘
|
30天前
|
Linux 网络安全 数据安全/隐私保护
Linux系统之Centos7安装cockpit图形管理界面
【10月更文挑战第12天】Linux系统之Centos7安装cockpit图形管理界面
江湖有缘
68 1
Linux系统之Centos7安装cockpit图形管理界面
龙大吉
|
15天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，并与使用 RPM 包安装进行了对比
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，并与使用 RPM 包安装进行了对比。通过具体案例，读者可以了解如何准备环境、下载源码、编译安装、配置服务及登录 MySQL。编译源码安装虽然复杂，但提供了更高的定制性和灵活性，适用于需要高度定制的场景。
龙大吉
49 3
东方睿赢
|
16天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤，并与使用 RPM 包安装进行了对比。
本文介绍了在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤，并与使用 RPM 包安装进行了对比。内容涵盖准备工作、下载源码、编译安装、配置服务、登录设置及实践心得，帮助读者根据需求选择最适合的安装方法。
东方睿赢
31 2
java冯坚持
|
1月前
|
NoSQL 数据可视化 Linux
redis学习四、可视化操作工具链接 centos redis，付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
本文介绍了Redis的两个可视化管理工具：付费的Redis Desktop Manager和免费的Another Redis DeskTop Manager，包括它们的下载、安装和使用方法，以及在使用Another Redis DeskTop Manager连接Redis时可能遇到的问题和解决方案。
java冯坚持
119 1
redis学习四、可视化操作工具链接 centos redis，付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
众所周知
|
18天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时，文章还对比了编译源码安装与使用 RPM 包安装的优缺点，帮助读者根据需求选择最合适的方法。通过具体案例，展示了编译源码安装的灵活性和定制性。
众所周知
59 2
蓝易云
|
22天前
|
Linux 知识图谱
Centos7安装killall,fuser, killall,pstree和pstree.x11
通过上述步骤，您已在CentOS 7系统中成功部署了killall、fuser、pstree以及pstree.x11，为高效管理系统进程打下了坚实基础。更多关于服务器管理与优化的知识，获取全面技术支持与解决方案。
蓝易云
28 1

热门文章

最新文章

  • 1
    CentOS7 yum的一次报错" 14: curl#56 - "Recv failure: Connection reset by peer" "
  • 2
    centos启用root账号登陆telnet
  • 3
    CentOS 网络基础：（2）路由和默认网关
  • 4
    centos7下bash命令自动纠正错误
  • 5
    CentOS 7 firewalld使用简介
  • 6
    使用rpm命令从CentOS系统盘安装计划任务程序crontab
  • 7
    centos7中systemctl 对系统服务的控制
  • 8
    字符界面安装CentOS 6.5操作系统
  • 9
    Centos 本地yum源的搭建
  • 10
    centos创建ssh key
  • 1
    Centos安装Docker的详细安装步骤，Docker相关组件：docker-ce-cli、docker-ce和containerd.io的区别
    701
  • 2
    Centos定期自动清理临时文件
    136
  • 3
    Shell脚本配置Centos静态ip地址
    155
  • 4
    Python脚本配置Centos静态ip地址
    139
  • 5
    解决centos离线安装cmake找不到OpenSSL问题
    395
  • 6
    Ubuntu与CentOS的区别
    70
  • 7
    CentOS 7 上挂载硬盘到系统
    298
  • 8
    CentOS 7 上配置 Nginx 作为反向代理
    306
  • 9
    CentOS 7 上安装 Nginx
    248
  • 10
    让 CentOS 定时重启 Nginx
    264

    • 相关课程

    更多
  • Linux软件包安装和yum仓库实战
  • Linux MySQL服务器搭建与应用

    • 相关电子书

    更多
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册
  • 阿里云Elasticsearch2.0发布

    • 相关实验场景

    更多
  • 基于CentOS7系统搭建云上博客
  • 基于CentOS快速搭建LAMP环境
  • 基于CentOS8系统搭建云上博客
  • 基于ROS一键安装LAMP环境
  • 基于Ubuntu搭建LNMP环境
  • 基于Ubuntu搭建LAMP环境

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    阿里云OSS设置跨域访问