ambari 安装及注意事项

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: ambari从无到有安装

官方教程:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/content/setting_up_a_local_repository_with_no_internet_access.html

1, 用 root 操作;

设置ip:
vi /etc/network/interface
static
address 192.168.199.210
netmask 255.255.255.0
geteway 192.168.199.1
dns-nameservers 114.114.114.114
网卡重启
sudo ifdown eth0 && sudo ifup eth0
root密码初始化
sudo passwd root
root ssh启用
sudo vi /etc/ssh/sshd_config

PermitRootLogin -> yes 属性值修改为yes

AuthorizedKeysFile %h/.ssh/authorized_keys 启用删除

主机名,host映射修改
vim /etc/hostname
vim /etc/hosts
xinju.master
xinju.slave1
xinju.slave2
或者用命令
hostname xxxx

修改hostname,重启生效
时间同步:
sudo apt-get install ntp -y
vi /etc/ntp.conf
注释掉所有server ..*的指向,新添加一条可连接的ntp服务器(我选的本公司的ntp测试服务器)
server cn.pool.ntp.org iburst
在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下) server master iburst

重启ntp服务 service ntpd restart
开机启动 systemctl enable ntpd.service

重新启动 ntp 服务:service ntpd restart
设置开机自启:systemctl enable ntpd.service
查看与时间同步服务器的时间偏差ntpdc -c loopinfo
查看当前同步的时间服务器 ntpq -p
节点服务器的同步服务器是master服务器即可

免密登录
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@com.mt.master
ssh-copy-id -i ~/.ssh/id_rsa.pub root@com.mt.slave001
ssh-copy-id -i ~/.ssh/id_rsa.pub root@com.mt.slave002

本地数据库安装:
tar -xvf mysql-5.7.31-1.el7.x86_64.rpm-bundle.tar
yum -y localinstall mysql-community-common-5.7.31-1.el7.x86_64.rpm
yum -y localinstall mysql-community-libs-5.7.31-1.el7.x86_64.rpm
yum -y localinstall mysql-community-libs-compat-5.7.31-1.el7.x86_64.rpm
yum -y localinstall mysql-community-devel-5.7.31-1.el7.x86_64.rpm
yum -y localinstall mysql-community-client-5.7.31-1.el7.x86_64.rpm
yum -y localinstall mysql-community-server-5.7.31-1.el7.x86_64.rpm

如果出现mariadb lib冲突,卸载
yum remove mariadb
yum list installed | grep mariadb
yum remove mariadb-libs
将其卸载
rm -rf /etc/my.cnf

或:
rpm -Uvh http://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
yum -y install mysql-community-server --nogpgcheck

启动

systemctl start mysqld

开机自启动

systemctl enable mysqld

查看临时密码

cat /var/log/mysqld.log | grep password

临时密码填充到引号内,执行

mysql -uroot -p'ly0h!Gw4PyBk'

修改密码:
降低密码校验规则,生产环境慎用
set global validate_password_length=4;
set global validate_password_policy=0;

set password=PASSWORD('root');

GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;
外网绑定:
/etc/mysql/my.cnf

创建库

create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hive default character set = 'latin1';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';
quit;

所有节点保存数据库驱动文件

mv mysql-connector-java-5.1.40.jar mysql-connector-java.jar
mkdir /usr/share/java
mv mysql-connector-java.jar /usr/share/java/

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
查看防火墙状态
firewall-cmd --state

selinux关闭
apt install selinux-utils -y
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

禁用透明页(所有节点)
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效 在/etc/rc.local 添加上面命令

image.png

2, 添加源 ambari 源

wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.1.0/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
apt-get install ambari-server -y
安装

apt-get install install ambari-server && ambari-server setup && ambari-server start

如果机子内存小,cpu 慢,修改安装超时时间:

vim /etc/ambari-server/conf/ambari.properties

agent.package.install.task.timeout=1800
改为2700
过程截图:

1,check warning 必须全部处理:
image.png

选主从:

image.png

ambari 从本地数据源下载太慢,则必须做本地仓库:

https://docs.hortonworks.com/,ambari, 根据版本找
image.png

下载本地数据

https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/content/ambari_repositories.html

异常记录:

1, 节点 cpu 和内存不能太小,否则会发生 cpu 或者内存吃光的现象,导致相互无法通讯:

2, 配置 hive 数据库,jdbc 地址,3306 默认没有配置,要自己加!

image.png

血的教训

阿里云服务器 bug 也是多:

1, 买服务器的时候,选中三台 slave, 下订单点两下结果出来 6 台,(⊙﹏⊙) b,

2,100m 最大带宽,给我干到 150m, 有图为证:
image.png

安装成功:

image.png

8088
image.png

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
10月前
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
207 1
|
分布式计算 安全 大数据
ambari安装HDFS组件(一)
ambari安装HDFS组件(一)
225 0
ambari安装HDFS组件(一)
|
数据安全/隐私保护
Ambari 2.7.3.0安装新组件
Ambari 2.7.3.0安装新组件和之前版本略有不同,本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加,就需要安装新的组件。
263 0
Ambari 2.7.3.0安装新组件
安装 OushuDB Ambari 插件
我们假设用户已经安装了HDP Ambari,并且已经安装了HDFS和Zookeeper。安装步骤可以参考: ● https://docs.hortonworks.com/HDPDocuments/Ambari/Ambari-2.4.2.0/index.html ● https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/index.html
138 0
安装 OushuDB Ambari 插件
|
分布式计算 Hadoop
使用 Ambari 安装 Hadoop 集群
转自:使用 Ambari 安装 Hadoop 集群
913 0
|
关系型数据库 Java 网络安全
|
分布式计算 Hadoop 网络安全
|
监控 大数据 Apache
|
分布式计算 关系型数据库 大数据