AI 助理
备案控制台
开发者社区 数据库 文章 正文

CDH环境搭建及部署及常见错误解决方法

2022-03-25 3184
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
云数据库 RDS MySQL，高可用系列 2核4GB
简介： Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop。

CDH环境搭建及部署

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop。

二、安装部署

2.1  集群架构

序号 IP地址 主机名 系统版本
1 10.211.55.100 zero Centos 7.7
2 10.211.55.101 Hadoop1 Centos 7.7
3 10.211.55.102 Hadoop2 Centos 7.7

2.2 基础环境配置

2.2.1 网络配置


vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static

ONBOOT=yes

IPADDR=10.211.55.100

NETMASK=255.255.255.0

GATEWAY=10.211.55.1

systemctl restart network.service  #重启网络服务


2.2.2 禁用防火墙和SELINUX


systemctl stop firewalld

systemctl disable firewalld

vi /etc/sysconfig/selinux

SELINUX=disabled  #将SELINUX的值改为disabled

reboot  #重启设备使selinux的配置生效


2.2.3 更改主机名


hostnamectl set-hostname  zero


2.2.3 修改hosts


vi /etc/hosts

10.211.55.100 zero

10.211.55.101 hadoop1

10.211.55.102 hadoop2

reboot  #修改完后重启生效


2.2.4 同步时间


yum -y install ntp  #安装NPT服务

vi /etc/ntp.conf  #修改配置文件

#注释掉原有的server指向

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

#zero节点指向

server 0.cn.pool.ntp.org

server 0.asia.pool.ntp.org

server 3.asia.pool.ntp.org

server 10.211.55.100 iburst  #Hadoop1/Hadoop2节点指向zero节点

ntpdate -u cn.pool.ntp.org  #同步网络时间


#重启ntp服务


systemctl start ntpd

systemctl enable ntpd

hwclock --localtime -w  #将系统时间写入本地硬件时钟时间


2.2.5 配置SSH免密登录


ssh-keygen -t rsa  #不输入密码，一路回车


ssh-copy-id hadoop1

ssh-copy-id hadoop2


#测试连通性

ssh 'zero'

ssh 'hadoop1'

ssh 'hadoop2'


2.2.6 安装JDK


mkdir /usr/Java/  #创建目录

tar -zxvf jdk1.8.0_211.tar.gz -C /usr/Java/  #解压JDK包到指定目录

vi /etc/profile  #配置环境变量


#JAVA

export JAVA_HOME=/usr/Java/jdk1.8.0_211

export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile  #使配置文件生效

java -version  #查看版本信息 检测安装是否成功


#安装成功后的返回信息

java version "1.8.0_211"

Java(TM) SE Runtime Environment (build 1.8.0_211-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)



2.2.7 安装MySQL（主节点安装即可）


#查看系统中是否已安装MySQL服务 如果存在则删除MySQL及其依赖的包

rpm -qa | grep mysql

yum list installed | grep mysql

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

rpm -ivh mysql57-community-release-el7-8.noarch.rpm

yum install mysql-server #安装MySQL 如出现提示 一路y到底

安装完毕后，运行MySQL，后在 /var/log/mysqld.log文件中会自动生成一个随机密码。

service mysqld start  #运行MySQL

grep "password" /var/log/mysqld.log  #取得随机密码 用于登录 MySQL 服务端


#返回信息如下 “6WjiI.UxuoaF”即为MySQL登陆密码

2021-01-05T11:04:28.684402Z 1 [Note] A temporary password is generated for root@localhost: 6WjiI.UxuoaF


登录到 MySQL 服务端并更改密码。


/*修改密码*/

SET PASSWORD = PASSWORD('new password');

ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;

flush privileges;


/*设置用户 root 可以在任意 IP 下被访问*/

grant all privileges on *.* to root@"%" identified by "new password";


/*设置用户 root 可以在本地被访问*/

grant all privileges on *.* to root@"localhost" identified by "new password";


/*刷新权限使其生效*/


flush privileges;


2.3 Cloudera Manager的安装及部署

2.3.1 安装Cloudera Manager


yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb  #安装第三方依赖包


mkdir -p /opt/cloudera-manager #创建目录


解压Cloudera Manager包到/opt/cloudera-manager目录下。


tar -zvxf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz  -C  /opt/cloudera-manager/


2.3.2 配置Cloudera Manager

修改agent配置文件。


vi /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini


#配置文件修改如下


# Hostname of the CM server.

server_host=zero


# Port that the CM server is listening on.

server_port=7182


为CM创建一个专用的普通用户 cloudera-scm。


useradd --system  #表示创建的是系统用户

--home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server  #指定了用户的主目录

--no-create-home #表示不再创建用户的主目录

--shell=/bin/false  #不作为登陆用户

--comment "Cloudera SCM User"

cloudera-scm  #用户名


配置数据库访问权限，添加用户。


grant all privileges on  *.*  to 'temp'@'%' identified by 'password' with grant option;


flush privileges;


#在主节点上执行CM在MySQL中的初始化脚本。

mv mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar


#进入初始化脚本目录下

cd /opt/cloudera-manager/cm-5.14.0/share/cmf/schema


#运行初始化脚步

./scm_prepare_database.sh mysql -h zero -utemp -ppassword --scm-host zero scm scm scm


配置CDH源（注意下载的时候需要版本对应，el5/6/7分别对应CentOS5/6/7。）


#创建目录

mkdir -p /opt/cloudera/parcel-repo  #主节点

mkdir -p /opt/cloudera/parcels  #所有节点


#将parcel文件移动到parcel-repo目录下

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel  /opt/cloudera/parcel-repo/


#将json文件移动到parcel-repo目录下

mv manifest.json  /opt/cloudera/parcel-repo/


#重命名校验码文件并移动到parcel-repo目录下

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1  /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha


更改目录所有人

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  #主节点


chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  #所有节点


2.3.3 启动CM进程服务

启动server（主节点）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [  确定  ]  #成功启动后的返回信息

启动agent（所有节点）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent start

Starting cloudera-scm-agent:                               [  确定  ]  #成功启动后的返回信息

2.3.3 开始部署

打开http://10.211.55.100:7180/进入CM初始界面，账号密码为admin。

Login.png

登陆进入勾选同意条款，点击继续，选择免费版本。

verision.png

继续下一步，勾选安装主机。

hosts.png

群集安装默认勾选即可，点击继续，等待安装完成。

install.png

点击继续，检查主机正确性，参照给出的信息进行修复。

debug.png

点击继续，选择需要的服务。

server.png

点击继续，进行角色分配。

conf.png

配置数据库，使其连接成功。

db.png

审核更改页面直接默认，点击继续。

set.png

等待部署完成。

finish.png

点击继续，安装完成。

截屏2021-01-07 上午11.12.55.png

三、错误&解决

#错误

Your password does not satisfy the current policy requirements


#解决方法

vi /etc/my.cnf  #修改配置文件my.cnf

validate_password=off  #关闭密码策略设置validate_password

service mysqld restart  #重启服务



#错误

为CDH群集安装指定主机无法勾选。


#解决方法

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server stop  #停止server

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent stop  #停止agent


#删除/opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/目录下内容

rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/*

/*删除MySQL数据库中scm数据库下的hosts表中的数据*/

use scm;

delete from HOSTS;


#错误

MainThread agent ERROR Error, CM server guid updated, expected 7cda865f-a833-40d1-9fa6-761631c74326, received e2678b78-7c5e-4703-91b6-c52e2875988c


#解决方法

rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-agent/cm_guid


#错误

ERROR Table 'scm.CM_VERSION' doesn't exist


#解决方法

vi /etc/my.cnf  #修改配置文件my.cnf

lower_case_table_names = 1  #[mysqld]节点下添加

service mysqld restart  #重启服务


#错误

ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.


#解决方法

mkdir /var/lib/cloudera-scm-server

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server    #创建目录并加上权限


文章标签：
云数据库 RDS MySQL 版
Java
分布式计算
SQL
关系型数据库
Linux
网络安全
数据安全/隐私保护
MySQL
Hadoop
数据库
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
1n7rud3r
目录
相关文章
阿甘兄
|
SQL Java 数据库连接
Hive教程（08）- JDBC操作Hive
Hive教程（08）- JDBC操作Hive
阿甘兄
1658 0
阿里云社区
|
分布式计算 数据可视化 大数据
Hue--介绍、功能、架构 | 学习笔记
快速学习 Hue--介绍、功能、架构
阿里云社区
2991 0
Hue--介绍、功能、架构 | 学习笔记
明哥的IT随笔
|
SQL 人工智能 分布式计算
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
明哥的IT随笔
2492 0
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
一臻数据
CDH5.6下线Hdfs的DataNode
CDH5.6下线Hdfs的DataNode
一臻数据
800 0
大数据启示录
|
缓存 Java 大数据
CDH大数据环境参数优化指南
CDH大数据环境参数优化指南
大数据启示录
1809 0
瓴羊智能服务
|
SQL 数据采集 分布式计算
Dataphin功能大图（三）研发：设计即研发，规范建模保障数据模型与代码的一致性
在《Dataphin核心功能: 规划功能》一文中, 讲到过Dataphin的OneModel方法论将数据建设分为四层, 分别为主题域模型(建模), 概念模型, 逻辑模型和分析模型。本文将继续展开逻辑模型和分析模型的讲解。
瓴羊智能服务
2983 0
Dataphin功能大图（三）研发：设计即研发，规范建模保障数据模型与代码的一致性
kng32f3vbngrm
|
SQL 分布式计算 Hadoop
org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, access=WRITE...
在尝试通过 HiveServer2 远程执行 DDL 操作时遇到权限错误，错误信息显示匿名用户（`anonymous`）无权执行写操作。解决方案包括：1) 使用 `hdfs dfs -chmod -R +777 /warehouse` 给目录授权（不推荐，仅适用于测试环境）；2) 配置 Hive 和 Hadoop，创建具有权限的用户，如 `ad`，并将该用户添加到 Hive 的管理员角色和 Hadoop 的 proxyuser 配置中，然后重启相关服务。通过 `beeline` 测试连接和操作，确认权限问题已解决。
kng32f3vbngrm
1028 0
晚风_END
|
运维 关系型数据库 MySQL
安装CDH6.3版本的时候遇到 ‘ERROR main:com.cloudera.server.cmf.Main: Server failed’的解决方案
安装CDH6.3版本的时候遇到 ‘ERROR main:com.cloudera.server.cmf.Main: Server failed’的解决方案
晚风_END
755 0
安装CDH6.3版本的时候遇到 ‘ERROR main:com.cloudera.server.cmf.Main: Server failed’的解决方案
Maynor
[已解决]该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系。
[已解决]该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系。
Maynor
344 0
大数据流动
|
SQL 分布式计算 数据管理
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
大数据流动
559 0

热门文章

最新文章

  • 1
    OpenSearch大模型实践之Havenask篇
  • 2
    一文掌握：Gitlab的完整使用手册
  • 3
    java实现图片与base64转换
  • 4
    手机验证码登录
  • 5
    Pycharm2022最新版安装破解与激活教程，亲测可用
  • 6
    Java单元测试之 单元测试规范
  • 7
    Exchange 中关于邮件的生命周期和托管文件夹的相关设定
  • 8
    抽象工厂模式
  • 9
    Android按返回键（后退键）Back键事件捕获的两种方法
  • 10
    Linux下安装显卡Run格式
  • 1
    关于synchronized-reentrantlock-volatile学习总结1.0
    34
  • 2
    最新PyCharm 安装详细图文教程：小白也能轻松搞定
    59
  • 3
    用错工具比没工具更可怕：Ansible vs Terraform 实战对比，用最接地气的方式讲清楚
    46
  • 4
    别等系统报警了才想起 Trace！——分布式事务可观测性的那些坑与优化套路
    54
  • 5
    数据建模到底怎么稳？从维度建模聊到列式存储，让你的数据仓库飞起来！
    41
  • 6
    基于反馈循环的自我进化AI智能体：原理、架构与代码实现
    55
  • 7
    LLM为何难以胜任复杂任务？探索AI认知局限
    51
  • 8
    【Java架构师体系课 | MySQL篇】⑦ 深入理解MySQL事务隔离级别与锁机制
    44
  • 9
    阿里云服务器最便宜多少钱一年？38元一年，配置、价格及购买限制说明
    51
  • 10
    强化网站安全的利器（Nginx中如何正确配置HSTS安全头）
    36

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云负载均衡收费标准：ALB、NLB和CLB价格，包括LCU费用、实例费和公网带宽价格