centos7通过CDH部署Hadoop

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: centos7通过CDH部署Hadoop

一、角色分配及安装环境准备

资料下载地址:

链接: 百度网盘

1.机器及机器角色规划

2.关闭防火墙及SELinux

3.安装依赖(server)

yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuseredhat-lsb-core  createrepo deltarpm python-deltarpm mod_ssl openssl-devel python-psycopg2 MySQL-python

4.配置hosts解析

192.168.1.136 hadoop01

192.168.1.137 hadoop02

192.168.1.138 hadoop03

5.配置Cloudera Manager yum仓库(server)

#服务端配置
yum install nginx -y
mkdir -p /usr/share/nginx/html/cm6/
mv *.rpm /usr/share/nginx/html/cm6/
createrepo -pdo /usr/share/nginx/html/cm6/ /usr/share/nginx/html/cm6/
vim /etc/nginx/nginx.conf
   root         /usr/share/nginx/html/cm6/;
   autoindex    on;
systemctl restart nginx
systemctl enable nginx
#客户端配置
vim /etc/yum.repos.d/cm.repo
[cm-repo]
name=cm
baseurl=http://192.168.1.136
gpgcheck=0
enabled=1
yum repolist 
cm-repo                                     cm                                                  6
yum list | grep cloudera

6.创建cloudera-scm用户(server)

useradd cloudera-scm

echo "cloudera-scm" |passwd --stdin cloudera-scm

echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers

7.安装MySQL(集群内安装)

参考:https://www.cnblogs.com/panwenbin-logs/p/11425652.html

create database scm DEFAULT CHARACTER SET utf8;
grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'hadoop01' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
flush privileges;

8.所有节点安装jdk

yum install oracle-j2sdk1.8 -y #不要自定义安装

二、安装CM Server及Agent服务

1.安装服务

yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64
cp mysql-connector-java-5.1.40.jar /opt/cloudera/cm/lib 
/opt/cloudera/cm/schema/scm_prepare_database.sh -h 192.168.1.136 mysql scm root Qwer@123 # 主机 database类型 数据库名称 账号 密码 
cat /etc/cloudera-scm-server/db.properties #初始后保存连接的相关信息 
systemctl start cloudera-scm-server 
netstat -tnlp #7180端口

2.配置本地parcel包

#必须要在数据库初始化后执行

cp CDH-6.2.1-*  allkeys.asc /opt/cloudera/parcel-repo

mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha   #删除结尾1

3.访问控制台

4.配置parcel

回到主页

修改更新频率为1分钟,默认1个小时

等待一分钟,确保出现torrent文件

5.创建集群

根据企业实际情况选择对应的版本,因为实验选择免费版本

定义集群名称

定义主机名称

其他会自动安装

6.检查集群

 

7.修复问题

临时生效:
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效:
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

8.新增主机

其余步骤与上面类似,不在赘述

三、安装CM service服务

1.CM service服务简介

可作为一组角色实施各种管理功能


1. Activity Monitor:收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色,实际生产环境也是不需要的。

2. Host Monitor:收集有关主机的运行状况和指标信息。

3. Service Monitor:从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。

4. Event Server:聚合组件的事件并将其用于警报和搜索。

5. Alert Publisher :为特定类型的事件生成和提供警报,实际情况下用的也少。

2.创建服务所需的相关目录(server)

mkdir -p /var/lib/cloudera-host-monitor

mkdir /var/lib/cloudera-service-monitor


chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

3.安装

安装,稍等一会查看是否有监控数据

四、安装HDFS服务

定义相关配置默认即可

所有步骤执行完成

优dfs.permissions化配置否则会因为权限问题不能再hdfs中创建目录和文件

 

 

手动测试写入数据

 

 

没有问题,安装成功

五、安装YARN服务

无特殊配置,参考上一步按提示填入对应的内容,其他默认即可

验证

cd /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop-mapreduce/

hadoop jar  hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar pi 2 4

六、安装 Hive(选择带需要ZK)

1.数据中创建Hive库

2.拷贝mysql驱动

cp mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

3.集群安装服务

验证

#验证
hive #执行命令
select from_unixtime(1583781807, 'yyyy-MM-dd');
#UI
http://hadoop01:10002/

 https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/introduction.html

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
20天前
|
监控 前端开发 Linux
centos7系统安装部署zabbix5.0
【9月更文挑战第23天】在CentOS 7系统上部署Zabbix 5.0的步骤包括:安装MariaDB数据库及必要软件包,配置Zabbix仓库,设置数据库并导入Zabbix数据库架构,配置Zabbix服务器与前端参数,启动相关服务,并通过浏览器访问Web界面完成安装向导。
|
1月前
|
Oracle Java 关系型数据库
CentOS 7.6操作系统部署JDK实战案例
这篇文章介绍了在CentOS 7.6操作系统上通过多种方式部署JDK的详细步骤,包括使用yum安装openjdk、基于rpm包和二进制包安装Oracle JDK,并提供了配置环境变量的方法。
215 80
|
1天前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
10 2
|
7天前
|
存储 Linux 开发者
虚拟机centos7.9一键部署docker
本文介绍了如何在 CentOS 7.9 虚拟机上安装 Docker 社区版 (Docker-ce-20.10.20)。通过使用阿里云镜像源,利用 `wget` 下载并配置 Docker-ce 的 YUM 仓库文件,然后通过 `yum` 命令完成安装。安装后,通过 `systemctl` 设置 Docker 开机自启并启动 Docker 服务。最后,使用 `docker version` 验证安装成功,并展示了客户端与服务器的版本信息。文中还提供了列出所有可用 Docker-ce 版本的命令。
虚拟机centos7.9一键部署docker
|
1月前
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
225 3
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
17天前
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
1月前
|
Linux pouch 容器
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
关于如何在CentOS 7.6操作系统上安装和使用阿里巴巴开源的Pouch容器管理工具的实战教程。
77 2
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
|
1月前
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
75 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
2月前
|
Linux 数据安全/隐私保护 网络虚拟化
centos7部署Pritunl
centos7部署Pritunl
|
2月前
|
Linux 数据安全/隐私保护 虚拟化
centos7部署openVPN
centos7部署openVPN