本实验环境4台linux16.04 都是安装在VMware Workstation的虚拟机。
分别是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主服务器 主服务器25G+8G 其它20G+4G
以下四台机器都需要
1.修改root密码 一样的密码
- apt-get install openssh-server openssh-client
apt-get install ntp
3.在主机 ssh-keygen -t rsa 生成 /root/.ssh/下 密钥文件和私钥文件 id_rsa,id_rsa.pub
- 修改 vi /etc/ssh/sshd_config
增加 PermitRootLogin yes 允许root远程登录
/etc/init.d/ssh restart重启服务
5.从CDH01复制id_rsa.pub到其他机器的 /root/.ssh/authorized_keys
在CDH02,CDH03,CDH04建立目录 /root/.ssh
scp id_rsa.pub root@192.168.196.142L/root/.ssh/authorized_keys
- 修改hosts文件
- /etc/hosts
vi /etc/hostname
192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04
- 下载jdk1.8 到 /var/cache/apt
网上下载oracle-j2sdk1.8_1.8.0+update20_amd64.deb
安装下载的文件
dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb
输入javac -version 测试 显示版本 javac 1.8.0_20
8.在 CDH01 上安装 mysql
sudo apt-get install mysql-server
apt-get isntall mysql-client
sudo apt-get install libmysqlclient-dev
sudo netstat -tap | grep mysql
mysql -u root -p
vi /etc/mysql/mysql.cnf.d/mysqld.cnf
bindaddress = 0.0.0.0 (允许远程登录mysql)
grant all privileges on . to root@'%' identified by '密码*' with grant option;
flush privileges;
- cloudera-manager安装
在CDH01目录 /var/cache/apt/archives
cd /var/cache/apt/archives
设置 apt数据源
curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key | sudo apt-key add
确认：/etc/apt/sources.list.d/cloudera-manager.list文件为以下内容：
deb [arch=amd64] https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/ xenial-cm5.13.1 contrib
apt-get update
apt-get install cloudera-manager-server cloudera-manager-agent
10、修改Cloudera-Manager-Server的配置文件db.properties，设置MySql连接
修改Cloudera-Manager-Server的配置文件db.properties,设置刚才我们在（4.7）Mysql中创建的cmf数据库、用户名、密码（4台机器都要执行）
root@m1:~# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
-
- https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib
12.建立cm数据库
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
13.建立用户（这个好像也可以自动建立，无需手动建立用户）
useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false -comment "Cloudera SCM User" cloudera-scm
也可以根据cloudera平台运行后，上面提示CDH01未建立hive等...几个用户和用户组，分别再建立
useradd Hive
....
- ufw disable (关闭防火墙)
15.启动主服务器服务
service cloudera-scm-server start
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一会 才能看到7180服务已启动)
16.复制以下文件到 /opt/cloudera/parcel-repo
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名为 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha
17.复制cloudera-manager的安装文件到其它机器
cd /var/cache/apt/archives
scp cloudera* root@CDH02:/var/cache/apt/archives
scp cloudera* root@CDH03:/var/cache/apt/archives
scp cloudera* root@CDH04:/var/cache/apt/archives
-
http://192.168.196.145:7180 admin/admin
在浏览器打开以上网址，账号密码是admin/admin,然后按向导开始安装 cloudera 平台及各组件。
以下是成功安装后的运行界面：
