AI 助理
备案控制台
开发者社区 数据库 文章 正文

基于CentOS7安装CM

2018-09-29 2785
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介：

从零开始搭建基于CM的hadoop集群

系统环境

操作系统CentOS7 x64
Cloudera Manger: 5.14.4
CDH：5.14.4

基础环境配置

所有节点修改hostname（重启生效）及hosts

hostnamectl --static set-hostname dt01

配置主机IP映射关系

vi /etc/hosts
image

关闭防火墙

所有节点关闭防火墙和selinux（重启生效）
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
image

关闭selinux

vim /etc/selinux/config

找到SELINUX改为：
SELINUX=disabled

所有节点ssh无密码登录

先在dt01上执行：

ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@dt0101 #将公钥拷贝到本机的authorized_keys上
再在其他节点分别执行以下命令：
ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@dt01 #注意此处不变，将公钥拷贝到server01的authorized_keys上

在server01上，将authorized_keys分发到其他节点服务器：
scp ~/.ssh/authorized_keys root@dt02:~/.ssh/

安装说明

通过Yum常用工具的安装

安装EPEL源

yum install epel-release

安装netstat

yum -y install net-tools

安装wget

yum -y install wget

安装telnet

telnet需要安装客户端（telnet）和服务端（telnet-server）
yum -y install telnet telnet-server

安装与设置VIM编辑器

vim编辑器需要安装三个包：
   vim-enhanced-7.0.109-7.el5
   vim-minimal-7.0.109-7.el5
   vim-common-7.0.109-7.el5

  1. 查看一下你本机已经存在的包，确认一下你的VIM是否已经安装：
       输入  rpm -qa|grep vim 这个命令，如何vim已经正确安装，则会显示上面三个包的名称
  2. 如果缺少了其中某个，比如说： vim-enhanced这个包少了，执行：yum -y install vim-enhanced 命令，它会自动下载安装。
  3. 如果上面三个包一个都没有显示，则直接输入命令：
       yum -y install vim*

即可自动安装，完毕后，即可使用vim编辑器。

安装ntp时间同步软件

为master和slave安装ntp ntpdate --默认已安装
yum install ntp ntpdate -y

master节点

编辑 /etc/ntp.conf
vim /etc/ntp.conf

添加如下内容
server time.windows.com
server s2m.time.edu.cn
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
server 127.127.1.0 iburst local clock 当外部时间不可用时，使用本地时间。
restrict 192.168.137.1 mask 255.255.255.0 nomodify 允许更新的IP地址段
image

启动ntp服务
systemctl start ntpd
systemctl enable ntpd.service 设置开机启动服务

验证服务
ntpq -p
image

slaver节点

slave节点同步master节点时间
/usr/sbin/ntpdate 72.16.16.124; /sbin/hwclock -w

客户端设置计划任务，每天晚上1点同步时间

crontab -e

05 * * * * root /usr/sbin/ntpdate 192.168.137.3; /sbin/hwclock -w

每五分钟同步一次

解决yum install mysql-server没有可用包的问题

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-server

安装JDK（所有节点）

版本jdk-8u74-linux-x64.tar.gz
tar -zxvf jdk-8u74-linux-x64.tar.gz

配置环境变量
vim /etc/profile

在最后面增加：

export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

安装配置 MySql（主节点）

yum install mysql
yum install mysql-server
service mysqld start（服务启动）

设置用户名和密

– mysqladmin -u root password '111111'

测试登录是否成功

mysql -uroot -p
输入：111111

mysql> USE mysql;
mysql> UPDATE user SET Password=PASSWORD('newpassword') WHERE user='root';
mysql> FLUSH PRIVILEGES;

修改数据库的字符集，查看默认的字符集

mysql> SHOW VARIABLES like 'character%';

+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

可以看出，database、server的字符集为latin1，如果后面在建数据库、数据表时，没有指定utf8，输入中文会变成乱码。MySQL 官网有介绍了更改字符集的方法，修改 mysql 的配置文件

vi /etc/my.cnf

# 在 [mysqld] 下面加上这个配置
[mysqld]
character-set-server=utf8

# 如果 client 默认不是 utf8，要改成 utf8 则在 [client] 中加上这个配置
[client]
default-character-set=utf8

更改好配置文件后，保存退出，重启 mysql

service mysqld restart

再查看数据库的字符集，已变成utf8，如下

mysql> SHOW VARIABLES like 'character%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

允许远程登录

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '111111' WITH GRANT OPTION;

进入 mysql 命令行，创建以下数据库：

create database hive DEFAULT CHARSET utf8; 
create database amon DEFAULT CHARSET utf8;
create database hue DEFAULT CHARSET utf8;
create database oozie DEFAULT CHARSET utf8;
create database sentry DEFAULT CHARSET utf8;

GRANT ALL PRIVILEGES

grant all privileges on *.* to 'root'@'10.%' identified by '111111' with grant option;
grant all privileges on cm.* to 'scm'@'10.%' identified by '111111';
grant all privileges on amon.* to 'amon'@'10.%' identified by '111111';
grant all privileges on hive.* to 'hive'@'10.%' identified by '111111';
grant all privileges on oozie.* to 'oozie'@'10.%' identified by '111111';
grant all privileges on hue.* to 'hue'@'10.%' identified by '111111';
grant all privileges on sentry.* to 'sentry'@'10.%' identified by '111111';
flush privileges;

安装 CM Server 和 Agent

mysql-connector-java-5.1.39.jar

下载parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha
cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz
manifest.json

KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
kafka-manager-1.3.0.4.zip

SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha
SPARK2_ON_YARN-2.2.0.cloudera2.jar

cloudera manager 的目录默认位置在/opt 下，解压：

tar xzvf cloudera-manager*.tar.gz
  1. 将解压后的 cm-5.1.3 和 cloudera 目录放到/opt 目录下。

初始化 CM5 的数据库

将下载好的mysql-connector-java-5.1.39.jar放到下面两个目录中：
/opt/cm-5.14.4/share/cmf/lib/， /opt/cm-5.14.4/share/cmf/cloudera-navigator-server/jars
chown -R root:root /opt/cm-5.14.4
chown -R root:root /opt/cloudera
在主节点初始化 CM5 的数据库：

/opt/cm-5.14.4/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p111111 --scm-host localhost scm scm scm

Agent 配置

修改/opt/cm-5.14.4/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。
同步 Agent 到其他节点

scp -r /opt/cm-5.14.4 root@dt02:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --nocreate-home --shell=/bin/false --comment "Cloudera SCM User" clouderascm

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。
相关启动脚本
主节点：

/opt/cm-5.14.4/etc/init.d/cloudera-scm-server start/stop启动服务端。

所有节点（包括主节点）：

/restart启动Agent服务。/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent start

查看端口是是否被占用

netstat -tunlp | gerp 端口号

CDH5 的安装配置

Cloudera Manager Server 和 Agent 都启动以后，就可以进行
CDH5 的安装配置了。
这时可以通过浏览器访问主节点的 7180 端口
后续界面操作这里不再赘述

注意事项

在/usr/sbin/下创建指向$JAVA_HOME的软链接

java -> /usr/local/jdk1.8.0_74/bin/java
文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
监控
数据库
大数据
关键词：
CentOS安装
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
lninic
目录
相关文章
1288912195458132
|
2天前
|
消息中间件 Linux API
centos7 安装rabbitmq自定义版本及配置
centos7 安装rabbitmq自定义版本及配置
1288912195458132
19 2
职说测试
|
9天前
|
安全 关系型数据库 MySQL
Linux(CentOS6)安装MySQL5.6
Linux（CentOS 6）系统上安装MySQL 5.6版本的详细步骤，包括准备数据存放目录、创建用户、下载安装包、初始化数据库、配置服务脚本、设置环境变量等操作。
职说测试
34 1
小王老师呀
|
12天前
|
关系型数据库 MySQL Java
centos7安装mysql教程及Navicat平替软件
【8月更文挑战第17天】本教程详述CentOS 7上安装MySQL的过程。首先确保移除任何预装的MySQL组件，然后通过wget获取并安装MySQL的YUM源。可以选择安装特定版本如5.7或8.0。安装MySQL服务器后，启动服务并查找初始密码。登录MySQL后应立即更改密码，并可根据需要设置远程访问权限。此外，还推荐使用免费开源的DBeaver作为数据库管理工具，提供了安装步骤以方便管理和操作MySQL数据库。
小王老师呀
49 3
胡东旭
|
1天前
|
弹性计算 关系型数据库 MySQL
centos7 mysql安装及配置
本文详细介绍了在阿里云服务器ECS上通过yum源安装MySQL 8.0.12的过程，包括更新yum源、下载并安装MySQL源、解决安装过程中可能遇到的问题等步骤。此外，还介绍了如何启动MySQL服务、设置开机自启、配置登录密码、添加远程登录用户以及处理远程连接异常等问题。适合初学者参考，帮助快速搭建MySQL环境。
胡东旭
15 8
centos7 mysql安装及配置
wljslmz
|
9天前
|
Linux 开发工具 数据安全/隐私保护
CentOS7安装流程步骤详细教程
【8月更文挑战第22天】
wljslmz
113 2
CentOS7安装流程步骤详细教程
热爱技术的小郑
|
12天前
|
应用服务中间件 Linux 网络安全
2022年超详细在CentOS 7上安装Nginx方法（源码安装）
这篇文章提供了在CentOS 7系统上通过源码安装Nginx的详细步骤，包括从官网下载Nginx源码包、上传至虚拟机、解压、删除压缩包、编译安装前的配置、安装PCRE库（因为Nginx使用PCRE库解析正则表达式）、安装zlib和OpenSSL库（用于支持HTTPS协议）、重新编译Nginx、安装后启动Nginx服务、关闭服务、修改默认端口、以及重启服务测试等步骤。文章还提供了相关命令和操作截图，帮助用户更好地理解和执行安装过程。
热爱技术的小郑
29 0
2022年超详细在CentOS 7上安装Nginx方法（源码安装）
热爱技术的小郑
|
12天前
|
Oracle Java 关系型数据库
2022 年超详细过程步骤讲解 CentOS 7 安装Maven。以及Mavne配置文件的修改
这篇文章提供了在CentOS 7上安装Maven的详细步骤，包括从官网下载Maven、创建文件夹、上传和解压Maven安装包、配置环境变量、设置Maven源为阿里云、指定jar包仓库位置、配置JDK版本，并验证安装是否成功。
热爱技术的小郑
25 1
2022 年超详细过程步骤讲解 CentOS 7 安装Maven。以及Mavne配置文件的修改
热爱技术的小郑
|
15天前
|
Linux C语言
成功解决 在Linux CentOS 7 中安装gcc
这篇文章介绍了如何在Linux CentOS 7系统中安装gcc (g++) 8工具集。由于CentOS 7默认的gcc版本是4.8，而这个版本与Qt 5.14、Qt 5.15或更高版本不兼容，可能会导致编译时出现系统头文件错误。文章中提到，即使在项目配置中添加了`CONFIG+=c++11`，如果仍然报错，那么很可能是gcc版本的问题。为了解决这个问题，文章提供了使用CentOS的Software Collections (scl)来安装更新版本的gcc的步骤。
热爱技术的小郑
60 1
成功解决 在Linux CentOS 7 中安装gcc
1288912195458132
|
2天前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
1288912195458132
8 2
小王老师呀
|
7天前
|
Linux 开发工具 git
CentOS安装git客户端
【8月更文挑战第22天】在 CentOS 上安装 Git 可通过两种方式：一是利用 yum 包管理器，只需在终端依次执行 `sudo yum update` 和 `sudo yum install git` 命令，安装时按提示输入 y 即可；二是从源码安装，适用于有特殊需求的场景。首先安装必要的依赖库，然后下载并解压 Git 的源码包，最后通过一系列 make 命令完成配置与编译安装。无论哪种方式，安装完毕后均可通过 `git --version` 验证安装情况。
小王老师呀
21 6

热门文章

最新文章

  • 1
    centos7 修改yum源为阿里源
  • 2
    Linux、CentOS简单搭建虚拟主机
  • 3
    centos下编译安装mysql5.5/5.6
  • 4
    如何在 CentOS 上安装和配置 Samba？
  • 5
    将VNC 安装在Centos 7步骤
  • 6
    CentOS6.4 64位系统安装jdk
  • 7
    CentOS6.5搭建LNMP
  • 8
    克隆centos
  • 9
    CRT连接Vmware CentOS
  • 10
    【Centos配置1】FTP配置
  • 1
    如何在CentOS7一键安装宝塔面板并实现固定地址访问内网宝塔进行管理
    141
  • 2
    CentOS安装MeterSphere并实现无公网IP远程访问本地测试平台
    60
  • 3
    centos7安装docker图文详解
    293
  • 4
    【亮剑】在CentOS上搭建Solr 7单机服务的流程
    47
  • 5
    centos7在线安装jdk1.8+tomcat+mysql8+nginx+docker
    391
  • 6
    如何检查CentOS版本：5种方法
    614
  • 7
    CentOS MySQL管理界面麒麟v10重启MySQL
    75
  • 8
    【专栏】在 RHEL 8 或者 CentOS 8 上顺利安装并运行MongoDB，以处理非结构化数据和扩展技术栈
    173
  • 9
    【Linux】CentOS网络故障排查大揭秘: 实战攻略解读
    397
  • 10
    【Linux】深入探究CentOS防火墙（Firewalld）：基础概念、常用命令及实例操作
    629

    • 相关课程

    更多
  • Linux软件包安装和yum仓库实战

    • 相关电子书

    更多
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册
  • 低代码开发师（初级）实战教程

    • 相关实验场景

    更多
  • 基于CentOS快速搭建LAMP环境
  • CentOS 7迁移Anolis OS 8
  • CentOS 8迁移Anolis OS 8
  • CentOS 7迁移Anolis OS 7
  • 基于Ubuntu搭建LNMP环境
  • 基于Ubuntu搭建LAMP环境

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    云函数