通过Cloudera Manager安装CDH

简介:

1 方法一

你可以从https://ccp.cloudera.com/display/SUPPORT/Downloads下载cloudera-manager-installer.bin,然后修改执行权限并执行该脚本。

该脚本中配置的rhel6的yum源为:http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/,下载的过程必须连网并且rpm的过程会非常慢,这种方法对虚拟机或者是无法连网的内网机器来说根本无法使用。

因为知道所有的rpm都在上面网址可以下载到,故你可以手动下载这些rpm然后手动安装,详细过程请参考:通过cloudera-manager来安装hadoop

2 方法二

这里还有一种方法,就是手动下载Cloudera Manager的yum tar包,在虚拟机中搭建一个本地yum源,然后修改hosts文件,使archive.cloudera.com域名映射到本地ip。

3 方法三

出于好奇,想破解cloudera-manager-installer.bin,然后看看其中做了哪些操作。通过以下脚本即可解压该文件:

$ mv cloudera-manager-installer.bin cloudera-manager-installer.zip
$ unzip cloudera-manager-installer.zip 

解压之后的目录如下:

$ ll
总用量 512
-rwxrwxr-x. 1 june june 501698 5月  25 09:53 cloudera-manager-installer.zip
drwxr-xr-x. 2 june june   4096 5月  23 03:05 data
drwxr-xr-x. 2 june june   4096 5月  22 21:48 guis
drwxr-xr-x. 2 june june   4096 5月  22 21:48 meta
drwxr-xr-x. 2 june june   4096 5月  22 21:48 scripts

查看解压之后的文件可以看到安装脚本是用lua编写并用MojoSetup编译的,从scripts/config.lua脚本中大概可以看出安装脚本的执行过程。

整理下该脚本逻辑,主要是做了以下操作:

$ yum install -y jdk.x86_64 
$ yum install -y cloudera-manager-server 
$ yum install -y cloudera-manager-server-db
$ /etc/init.d/cloudera-scm-server start
$ /etc/init.d/cloudera-scm-server-db start

知道了上面这点之后,就可以在本地的cloudera-manager yum中,执行以上操作完成cloudera-manager的安装,安装成功之后查看7180端口是否打开:

$ netstat -na| grep 7180

通过浏览器访问http://IP:7180登录cloudera manager界面:用户名/密码:admin/admin,按照界面提示完成hadoop集群安装。

卸载

执行以下命令,可以卸载并删除相应的文件和目录:

yum remove -y hadoop hbase hive zookeeper hue oozie sqoop flume
yum remove cloudera*

rm -rf /usr/lib/{hadoop,hbase,oozie}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper,sqoop,oozie,flume}
rm -rf /etc/cloudera-scm-agent/
rm -rf /tmp/hadoop-hive/ /usr/share/hue/  /var/log/hive/
rm -rf /var/log/hadoop-*
rm -rf /var/log/hbase/
rm -rf /var/log/zookeeper/
rm -rf /var/log/cloudera-scm-*
rm -rf /var/log/flume-ng/
rm -rf /var/log/hue
rm -rf /usr/share/doc/oozie*
rm -rf /etc/hue/ /etc/rc.d/init.d/hue

5 排错

在执行下面一个命令时候可能会出现如下异常

$ /etc/init.d/cloudera-scm-server-db start

异常信息如下:

[root@cdh1 cloudera-scm-server-db]# /etc/init.d/cloudera-scm-server-db start
属于此数据库系统的文件宿主为用户 "cloudera-scm".
此用户也必须为服务器进程的宿主.
数据库簇将带有 locale en_US.UTF8 初始化.
缺省的文本搜索配置将会被设置到"english"

修复已存在目录 /var/lib/cloudera-scm-server-db/data 的权限 ... initdb: 无法改变目录 "/var/lib/cloudera-scm-server-db/data" 的权限: 权限不够
Could not initialize database server.
  This usually means that your PostgreSQL installation failed or isn't working properly.
  PostgreSQL is installed using the set of repositories found on this machine. Please
  ensure that PostgreSQL can be installed. Please also uninstall any other instances of
  PostgreSQL and then try again., giving up

这时候,请执行如下命令:

$ su -s /bin/bash cloudera-scm -c "touch /var/log/cloudera-scm-server/db.log; /usr/share/cmf/bin/initialize_embedded_db.sh /var/lib/cloudera-scm-server-db/data /var/log/cloudera-scm-server/db.log"
$ su -s /bin/bash cloudera-scm -c "pg_ctl start -w -D /var/lib/cloudera-scm-server-db/data -l /var/log/cloudera-scm-server/db.log"
目录
相关文章
|
Docker Ruby 容器
docker安装gitlab-ee并破解
本文介绍docker安装和gitlab-ee的破解方法
docker安装gitlab-ee并破解
|
4月前
|
弹性计算 云计算 对象存储
阿里云轻量应用服务器38元一年抢购地址,云服务器性能、适用场景与抢购规则
阿里云2026年特价活动中,轻量应用服务器以38元/年的价格成为个人开发者、初创企业及学生群体的理想选择。该服务器配置为2核2G 200M带宽,具备极速部署、预置丰富环境、管理便捷及成本极致优势,适用于个人博客、企业展示官网、电商独立站等场景。用户需定时抢购,并遵循相关购买与续费规则,整体上,这是一款高性价比的入门级云服务器产品。
|
4月前
|
数据采集 Web App开发 人工智能
OpenClaw阿里云/本地部署喂饭级教程,接入Playwright解锁网页自动化操作
用过OpenClaw的用户都清楚,仅依赖基础功能的它就像“抓瞎的龙虾”——能理解指令却缺乏实际操作能力,尤其在自媒体运营、数据采集等场景中,无法突破平台限制完成自动发布、截图录屏等实操任务。而Playwright作为强大的自动化测试工具,恰好能填补这一空白:它支持跨浏览器网页操控、自动截图录屏、无限制数据采集,给OpenClaw装上“眼睛和手脚”,让AI从“只会说”升级为“能动手”。
2917 15
|
10月前
|
存储 JSON 对象存储
零门槛玩转向量引擎!阿里云 Milvus 无代码全流程实操指南
阿里云Milvus版是企业级向量引擎,支持非结构化数据语义检索。全托管架构、开源兼容,助力智能驾驶、电商推荐、智能客服等场景实现毫秒级精准匹配,无代码操作让AI落地更高效。
1298 0
|
存储 开发者 Python
【阿里云镜像】配置阿里巴巴开源镜像站镜像——PyPI 镜像
【阿里云镜像】配置阿里巴巴开源镜像站镜像——PyPI 镜像
7020 0
【阿里云镜像】配置阿里巴巴开源镜像站镜像——PyPI 镜像
|
算法 数据安全/隐私保护
通过MATLAB实现PID控制器,积分分离控制器以及滑模控制器
本课题通过MATLAB实现PID控制器、积分分离控制器和滑模控制器,对比结果显示滑模控制具有最快的收敛性能、较强的鲁棒性和较小的超调量,优于其他两种控制器。系统仿真结果无水印,核心程序基于MATLAB 2022a。PID控制器由P、I、D单元组成,积分分离PI在大误差时不进行积分,减少超调;滑模控制通过设计滑动面使系统快速收敛,抑制扰动。
|
机器学习/深度学习 存储 边缘计算
深度学习之稀疏感知器设计
基于深度学习的稀疏感知器(Sparse Perceptron)设计旨在构建高效的神经网络结构,通过在网络中引入稀疏性来减少计算和存储需求,同时保持模型的性能。
436 0
|
Serverless 网络安全 Python
Ansible原理和安装
Ansible原理和安装
403 1
|
编解码 人工智能 测试技术
安卓适配性策略:确保应用在不同设备上的兼容性
【4月更文挑战第13天】本文探讨了提升安卓应用兼容性的策略,包括理解平台碎片化、设计响应式UI(使用dp单位,考虑横竖屏)、利用Android SDK的兼容工具(支持库、资源限定符)、编写兼容性代码(运行时权限、设备特性检查)以及优化性能以适应低端设备。适配性是安卓开发的关键,通过这些方法可确保应用在多样化设备上提供一致体验。未来,自动化测试和AI将助力应对设备碎片化挑战。
2436 4
|
监控 关系型数据库 MySQL

热门文章

最新文章