AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

Centos7使用CDH6.3.0安装大数据集群

2022-04-26 1183
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS AI 助手，专业版
RDS Agent（兼容OpenClaw），2核4GB
RDS MySQL DuckDB 分析主实例，基础系列 4核8GB
简介： Centos7使用CDH6.3.0安装大数据集群

修改网络和主机名

cdh6-master

[root@cdh6-master ~]# hostnamectl set-hostname cdh6-master

[root@cdh6-master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=bdf6fb11-50f4-403a-8ba6-b9dca61a591e
DEVICE=ens33
ONBOOT=yes

IPADDR=192.168.200.125
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=8.8.8.8

cdh6-slave1

[root@cdh6-slave1 ~]# hostnamectl set-hostname cdh6-slave1

[root@cdh6-slave1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=e2b4e53e-5a4d-4b20-b6ff-39a67539214a
DEVICE=ens33
ONBOOT=yes

IPADDR=192.168.200.126
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=8.8.8.8

cdh6-slave2

[root@cdh6-slave2 ~]# hostnamectl set-hostname cdh6-slave2

[root@cdh6-slave2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a15136a1-c83b-4750-9ff3-2ca779e39818
DEVICE=ens33
ONBOOT=yes

IPADDR=192.168.200.127
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=8.8.8.8

关闭防火墙和SELinux

vi /etc/hosts：

192.168.200.125        cdh6-master
192.168.200.126        cdh6-slave1
192.168.200.127        cdh6-slave2
# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启
systemctl disable firewalld
# 临时生效
setenforce 0
# 永久生效
修改 /etc/selinux/config 下的 SELINUX=disabled

SSH免密登陆

在cdh6-master节点(只需要主节点能免密登陆其它节点以及自己就可以了)：

# 输入之后一直回车
ssh-keygen    

# 赋值秘钥到其它节点包括自己
ssh-copy-id   cdh6-master
ssh-copy-id   cdh6-slave1
ssh-copy-id   cdh6-slave2

注意事项：如果出现 ssh-copy-id: command not found 需要执行该命令（yum -y install openssh-clients）

集群时间同步

所有节点

#全部节点安装ntp
rpm -qa |grep ntpd
###没有安装ntp,则需要安装此服务
yum install -y ntp

cdh6-master

vi /etc/ntp.conf
###去掉这个注释，将地址改成网段地址
restrict 192.168.200.2 mask 255.255.255.0 nomodify notrap

###注释掉这几个
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

###添加一下内容
server 127.127.1.0
fudge  127.127.1.0  stratum  10

vi /etc/sysconfig/ntpd
###加入下面一句话，用于配置boot时间和系统时间同步
SYNC_HWCLOCK=yes
###可选，选择上海时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

cdh6-slave1和cdh6-slave2

输入 crontab -e 命令进入编辑状态，然后输入一下内容（该任务保存在目录/var/spool/cron　下，必须用root用户才能看到  ）
* * * * * /usr/sbin/ntpdate        cdh6-master

启动所有节点的ntp

service ntpd start

chkconfig ntpd on

安装repo、GPG key、jdk

所有节点。 
# 安装repo，如果没有wget就yum install -y wget
wget https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

# 导入GPG key
rpm --import https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM-GPG-KEY-cloudera
# 安装jdk
yum install -y oracle-j2sdk1.8
# 配置java环境变量
vi /etc/profile
# 最后面加上
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export PATH=$PATH:$JAVA_HOME/bin
# 生效环境变量
source /etc/profile

上传cdh资源包到cdh6-master节点

在cdh6-slave1安装MySQL

cdh-slave1节点。 
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum update

yum install -y mysql-server

systemctl start mysqld

systemctl enable mysqld
###初始化Mysql

/usr/bin/mysql_secure_installation

[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] Y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!

安装MySQL JDBC Driver

所有节点。 
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

tar -zxvf mysql-connector-java-5.1.46.tar.gz

mkdir -p /usr/share/java/

cd mysql-connector-java-5.1.46

cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

注意：

一定要将mysql-connector-java-5.1.46-bin.jar改名为mysql-connector-java.jar，不然初始化cm的时候无法识别。

创建数据库

在安装MySQL数据库的 cdh6-slave1节点。

需要建的库有scm、amon、rman、hue、metastore、sentry、nav、navms、oozie

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

开放远程权限：

mysql> use mysql;

mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

mysql> grant all privileges on *.* to 'scm'@'master.cdh6' identified by '123456' with grant option;

mysql> flush privileges;

离线安装cdh

下载安装包

# 创建文件夹
mkdir -p /opt/cloudera/parcel-repo/
# 将CHD6相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中，如果没有此目录，可以自己创建。
CDH-6.3.0-1.cdh6.3.0.p0.537114-el7.parcel
CDH-6.3.0-1.cdh6.3.0.p0.537114-el7.parcel.sha256
manifest.json

CM

cloudera-manager的rpm安装包就直接rpm -ivh安装即可，先解压cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm。

CDH

注意：

CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256重命名为CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha，这点必须注意否则，系统会重新下载。

然后，CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha中的秘钥修改为对应版本的秘钥。

解压CM安装包

环境依赖安装：

yum install -y perl

yum install -y bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functions libpq.so.5

所有节点：

rpm -ivh cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm

rpm -ivh 

仅仅在master节点：

rpm -ivh

修改所有节点的CM主机指向

vi /etc/cloudera-scm-agent/config.ini
# 将server_host修改为CM-Server所在的主机名
server_host=cdh6-master

初始化数据库

我这里MySQL安装在 cdh6-slave1节点，cm-server安装在 cdh6-master节点。 
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h cdh6-slave1 --scm-host cdh6-master scm scm

注意事项，如果MySQL和cm-server在一台服务器上：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

启动cdh6-master节点的cloudera-scm-server：

systemctl start cloudera-scm-server

等待server启动完毕之后，再启动所有节点的cloudera-scm-agent：

systemctl start cloudera-scm-agent

安装大数据组件

1.png

2.png

3.png

4.png

5.png

6.png

7.png

8.png

9.png

10.png

11.png

12.png

13-安装Zookeeper-1.png

13-安装Zookeeper-2.png

13-安装Zookeeper-3.png

13-安装Zookeeper-4.png

13-安装Zookeeper-5.png

13-安装Zookeeper-6.png

13-安装Zookeeper-7.png

14.png

可能会遇到的问题

虚拟内存设置

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

临时解决

通过echo 0 > /proc/sys/vm/swappiness即可解决。

永久解决

sysctl -w vm.swappiness=0

echo vm.swappiness = 0 >> /etc/sysctl.conf

大内存设置

大内存页禁用

echo never>/sys/kernel/mm/transparent_hugepage/defrag

echo never>/sys/kernel/mm/transparent_hugepage/enabled

升级软件依赖版本

Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4, see the documentation for more information. This warning can be ignored if hosts will not run CDH 6, or will not run Hue with PostgreSQL. The following hosts have an incompatible Psycopg2 version of '2.5.1'

解决方法：可以忽略。

yum install python-pip

pip install --upgrade psycopg2

安装Parcel提示主机运行状况不良

解决方法

删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。

find / -name cm_guid
/var/lib/cloudera-scm-agent/cm_guid

删除它/var/lib/cloudera-scm-agent/cm_guid

###重启agent
systemctl cloudera-scm-agent restart

关于博主

欢迎关注博主个人博客：www.lzhpo.com

文章标签：
云原生大数据计算服务 MaxCompute
云数据库 RDS MySQL 版
Java
关系型数据库
Linux
网络安全
MySQL
数据库
大数据
数据库连接
关键词：
CentOS安装
CentOS集群
云原生大数据计算服务 MaxCompute集群
CentOS CDH
云原生大数据计算服务 MaxCompute安装
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
lzhpo
目录
相关文章
34789737
|
9月前
|
存储 Ubuntu Linux
VMware-安装CentOS系统教程及安装包
虚拟机相当于是一个独立于你电脑的环境，在这个环境上面，你可以安装Linux、Windows、Ubuntu等各个类型各个版本的系统，在这个系统里面你不用担心有病读等，不用担心文件误删导致系统崩溃。 虚拟机也和正常的电脑系统是一样的，也可以开关机，不用的时候，你关机就可以了，也不会占用你的系统资源，使用起来还是比较方便 这里也有已经做好的CentOS 7系统，下载下来解压后直接用VMware打开就可以使用
34789737
1461 69
IvanCodes
|
8月前
|
存储 分布式计算 Linux
安装篇--CentOS 7 虚拟机安装
VMware 装 CentOS 7 不知道从哪下手？这篇超详细图文教程手把手教你在 VMware Workstation 中完成 CentOS 7 桌面系统的完整安装流程。从 ISO 镜像下载、虚拟机配置，到安装图形界面、设置用户密码，每一步都有截图讲解，适合零基础新手快速上手。装好之后无论你是要搭 Hadoop 集群，还是练 Linux ，这个环境都够你折腾一整天！
IvanCodes
3283 3
蓝易云
|
9月前
|
Ubuntu Linux 索引
Centos 7、Debian及Ubuntu系统中安装和验证tree命令的指南。
通过上述步骤，我们可以在CentOS 7、Debian和Ubuntu系统中安装并验证 `tree`命令。在命令行界面中执行安装命令，然后通过版本检查确认安装成功。这保证了在多个平台上 `tree`命令的一致性和可用性，使得用户无论在哪种Linux发行版上都能使用此工具浏览目录结构。
蓝易云
745 78
IvanCodes
|
8月前
|
安全 关系型数据库 MySQL
CentOS 7 yum 安装 MySQL教程
在CentOS 7上安装MySQL 8，其实流程很清晰。首先通过官方Yum仓库来安装服务，然后启动并设为开机自启。最重要的环节是首次安全设置：需要先从日志里找到临时密码来登录，再修改成你自己的密码，并为远程连接创建用户和授权。最后，也别忘了在服务器防火墙上放行3306端口，这样远程才能连上。
IvanCodes
1890 16
蓝易云
|
9月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
蓝易云
651 10
蓝易云
|
9月前
|
运维 网络协议 Linux
CentOS下Bind服务的安装与故障排查
通过以上的步骤，您应该能够在CentOS系统上安装并配置BIND DNS服务，并进行基本的故障排查。
蓝易云
687 0
游客4jqguaynwz2fs
|
9月前
|
存储 Ubuntu Linux
安卓手机免root安装各种Linux系统：Ubuntu, Centos,Kali等
此外还可以安装Slackware、Archstrike等系统，还可以通过github查找方法安装更多有趣的东西。 昨日小编就是通过Termux安装的Kali Linux工具包。
游客4jqguaynwz2fs
15555 0
PowerData
|
SQL 关系型数据库 MySQL
Centos7在线安装CDH5
Centos7在线安装CDH5
PowerData
483 0
hadoop实操
|
Web App开发 关系型数据库 MySQL
0024-CENTOS6.5安装CDH5.12.1(一)
hadoop实操
1878 0
蓝易云
|
10月前
|
Linux 网络安全 Apache
针对在Centos/Linux安装Apache过程中出现的常见问题集锦
以上每个问题的解决方案应深入分析错误日志、系统消息和各种配置文件，以找到根本原因并加以解决。务必保持系统和Apache软件包更新到最新版本，以修复已知的bugs和安全漏洞。安装和管理Web服务器是一项需要细致关注和不断学习的任务。随着技术的发展，推荐定期查看官方文档和社区论坛，以保持知识的更新。
蓝易云
364 80

热门文章

最新文章

  • 1
    环境异常解决方案-CentOS 7 网络异常【Failed to start LSB: Bring up/down networking】
  • 2
    CentOS6.5 升级 Python 2.7 版本
  • 3
    CentOS 7 设置日系统时间为中国时区并启用NTP同步
  • 4
    【CentOS7操作系统安全加固系列】第(5)篇
  • 5
    Centos设置欢迎语，登录后自动执行指定的命令，脚本等
  • 6
    Linux安装（CentOS7）与最小化安装配置
  • 7
    利用Cobbler批量布署CentOS
  • 8
    在CentOS5.6上安装Node.js
  • 9
    在 CentOS 6.8 x86_64 上安装 nghttp2 最新版及让 curl 具有 http2 特性
  • 10
    CentOS7 配置外网静态ip
  • 1
    大数据治理：确保数据质量和合规性
    757
  • 2
    数据可视化：将大数据分析转化为视觉洞察
    634
  • 3
    大数据技术生态系统概述
    1208
  • 4
    Java的大数据处理与分析技术 (2)
    320
  • 5
    大数据基础：收集、处理与分析
    615
  • 6
    大数据处理：挖掘价值之道
    306
  • 7
    大数据技术闲侃之-鹰隼试翼风尘翕张
    241
  • 8
    大数据技术人员的打怪升级之路
    287
  • 9
    大数据开发第一站ODS篇
    505
  • 10
    利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器
    498

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）

    • 相关电子书

    更多
  • MaxCompute Serverless 架构演进
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    安装使用最新wordpress的最简单流程