CDH5 大数据实验平台搭建笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

本实验环境4台linux16.04 都是安装在VMware Workstation的虚拟机。
分别是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主服务器 主服务器25G+8G 其它20G+4G

以下四台机器都需要
1.修改root密码 一样的密码

  1. apt-get install openssh-server openssh-client

apt-get install ntp

3.在主机 ssh-keygen -t rsa 生成 /root/.ssh/下 密钥文件和私钥文件 id_rsa,id_rsa.pub

  1. 修改 vi /etc/ssh/sshd_config
    增加 PermitRootLogin yes 允许root远程登录

/etc/init.d/ssh restart重启服务

5.从CDH01复制id_rsa.pub到其他机器的 /root/.ssh/authorized_keys
在CDH02,CDH03,CDH04建立目录 /root/.ssh
scp id_rsa.pub root@192.168.196.142L/root/.ssh/authorized_keys

  1. 修改hosts文件
  2. /etc/hosts

vi /etc/hostname
192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04

  1. 下载jdk1.8 到 /var/cache/apt
    网上下载oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安装下载的文件

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb
输入javac -version 测试 显示版本 javac 1.8.0_20

8.在 CDH01 上安装 mysql
sudo apt-get install mysql-server
apt-get isntall mysql-client
sudo apt-get install libmysqlclient-dev
sudo netstat -tap | grep mysql
mysql -u root -p

vi /etc/mysql/mysql.cnf.d/mysqld.cnf

bindaddress = 0.0.0.0 (允许远程登录mysql)
grant all privileges on . to root@'%' identified by '密码*' with grant option;
flush privileges;

  1. cloudera-manager安装

在CDH01目录 /var/cache/apt/archives
cd /var/cache/apt/archives
设置 apt数据源
curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key | sudo apt-key add

确认:/etc/apt/sources.list.d/cloudera-manager.list文件为以下内容:
deb [arch=amd64] https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/ xenial-cm5.13.1 contrib

apt-get update
apt-get install cloudera-manager-server cloudera-manager-agent

10、修改Cloudera-Manager-Server的配置文件db.properties,设置MySql连接
  修改Cloudera-Manager-Server的配置文件db.properties,设置刚才我们在(4.7)Mysql中创建的cmf数据库、用户名、密码(4台机器都要执行)

root@m1:~# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm

  1. https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz

tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib

12.建立cm数据库
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

13.建立用户(这个好像也可以自动建立,无需手动建立用户)
useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false -comment "Cloudera SCM User" cloudera-scm
也可以根据cloudera平台运行后,上面提示CDH01未建立hive等...几个用户和用户组,分别再建立

useradd Hive

....

  1. ufw disable (关闭防火墙)

15.启动主服务器服务
service cloudera-scm-server start
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一会 才能看到7180服务已启动)

16.复制以下文件到 /opt/cloudera/parcel-repo
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名为 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

17.复制cloudera-manager的安装文件到其它机器
cd /var/cache/apt/archives
scp cloudera* root@CDH02:/var/cache/apt/archives
scp cloudera* root@CDH03:/var/cache/apt/archives
scp cloudera* root@CDH04:/var/cache/apt/archives

  1. http://192.168.196.145:7180 admin/admin

在浏览器打开以上网址,账号密码是admin/admin,然后按向导开始安装 cloudera 平台及各组件。

以下是成功安装后的运行界面:

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8月前
|
分布式计算 Hadoop 大数据
【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作
【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作
91 0
|
8月前
|
分布式计算 Hadoop 大数据
【大数据开发技术】实验04-HDFS文件创建与写入
【大数据开发技术】实验04-HDFS文件创建与写入
155 0
|
8月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验03-Hadoop读取文件
【大数据开发技术】实验03-Hadoop读取文件
143 0
|
8月前
|
分布式计算 Hadoop Java
【大数据开发技术】实验01-Hadoop安装部署
【大数据开发技术】实验01-Hadoop安装部署
186 0
|
1月前
|
存储 缓存 NoSQL
大数据 | HDFS 元数据持久化笔记
大数据 | HDFS 元数据持久化笔记
70 0
|
1月前
|
存储 分布式计算 大数据
大数据笔记 | HDFS 常用操作命令
大数据笔记 | HDFS 常用操作命令
132 0
|
1月前
|
大数据 Linux 网络安全
大数据笔记 | 无密钥登录操作步骤
大数据笔记 | 无密钥登录操作步骤
56 0
|
8月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验02-HDFS常用shell命令
【大数据开发技术】实验02-HDFS常用shell命令
117 0
|
9月前
|
SQL 大数据 关系型数据库
大数据采集实验
大数据采集实验
154 1
|
10月前
|
SQL 数据采集 搜索推荐
开源大数据分析实验(4)——简单用户画像分析之数据可视化展现
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。