CDH 搭建_ Hadoop _ MySQL|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习 CDH 搭建_ Hadoop _ MySQL

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段)  CDH 搭建_ Hadoop _ MySQL】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11774


CDH 搭建_ Hadoop _ MySQL


内容介绍:

一、安装 MySQL 的三种方式

二、下载 Yum 源,安装 MySQL

三、启动 MySQL

四、通过 MySQL 提供的工具,设置 root 密码

 

接下来安装 MySQL ,首先安装 MySQL 是因为在Hive 当中需要保存一些表的信息,这些原信息有两种保存的选择:第一种,保存到 Derby 的嵌入式数据库中,嵌入式数据库没有一个独立的服务程序,只是一个工具去管理某几个文件,它可以嵌入到某一个程序的一部分当中。还有一种选择是 MySQL ,不使用 Derby 是因为它在生产环境里的表现并不是很好,即有很多限制,所以在生产环境中,往往使用 MYSQL 和 Hive 进行配合。

 

一、安装 MySQL 的三种方式

安装  MySQL 的方式。打开笔记进行相应的查看。可以看到安装 MySQL 有三种方式:第一,下载 MySQL tar 包,直接解压,把 MySQL 对应的文件放在对应的目录中,之后去处理配置文件,做一系列的处理将 MySQL 安装完成,步骤是非常复杂繁琐的。第二,使用 Yum 进行安装,分为两种形式:一种形式是在线安装,即直接读取 Yum 仓库进行相应的下载安装,这些步骤都是自动的。另一种方式是去 Oracle 的官网下载 MySQL 的安装包( rpm ),直接使用 Yum 导入即可,使用 yum -install 去安装对应的包。上面是两种使用 Yum 的方式,现在先选用第一种在线安装的方式,这种方式是 Cloudera 官网推荐的方式。如果大家以后在工作时发现生产环境没有办法使用这种方式来安装,就可以去 Oracle 的官网下载 MySQL 的安装包进行相应的安装。 Yum 的第二种安装方式,其实是一个离线的安装方式。接下来,整个的安装步骤分为两步,第一步安装,第二步启动和配置。在第一步中首先,需要下载一个源数据库的配置文件,下载完成以后是压缩包的 rpm 格式,是和 Yum 进行配合的格式,所以就必须使用 rpm -i 进行相应的安装。但是以往在下载源配置文件时,比如下载 cloudera.repo 文件,像 repo 直接结尾的文件就可以直接拷贝到 /etc/yum.repos.d 的目录当中,但是对于 rpm 格式的就必须使用 rpm -i 的命令进行安装。接下来,使用 yum 的方式安装 MySQL 。在启动 MySQL 之后,需要关闭密码验证,因为在 MySQL 5.7以后密码验证的规则会比较复杂,必须有小写字母、数字、大写字母、标点符号,这几个形式全部具备才能够创建密码,太过严格,所以在这里关闭密码验证。但是建议在生产环境中一定要有强密码意识,所以不建议大家在生产环境中关闭密码验证。接下来,设置 root 的密码、安全策略,上述内容就是安装 MySQL 的五小步两大步。

 

二、下载 Yum 源,安装 MySQL

1.下载 Yum源

进入黑窗口当中,第一步下载 rpm原配置,代码如下。

wget http:L/repomysql.com/mysql-community-release-el7-5.

noarch.rpm

下载完成之后,就可以直接使用 rpm-ivh 进行显示的配置。之后进行 mysql rpm 的导入,代码如下。

rpm -ivh mysql-community-release-el7-5.noarch.rpm

导入出现问题,上方的代码中应该导入 el 6 ,新的笔记当中已经更改。如下图。

image.png

导入失败是因为刚才已经导入过一次,到时候大家直接按照笔记步骤进行安装即可。下载完 el 6之后,使用 rpm-ivh mysql 进行 el 6版本的安装,代码如下。

rpm -ivh mysql-community-release-el6-5.noarch . rpm

现在导入的源文件是为了让 Yum 能够找到 MySQL 的 Yum 仓库在哪里。

2.安装 MySQL

现在就可以直接使用 yum install - y mysql-server 的程序安装,完成后就可以直接使用。如果大家觉得这种安装方式比较慢,在笔记中也为大家写了如何使用离线的方式进行安装。无论是在线还是离线,仅仅是到这一步之前的步骤可能会有一点点区别。


三、启动 MySQL

在安装完成后,启动 mysql 服务,代码为 service mysqld start 。启动完成之后,修改该文件主要是为了配置密码验证的规则,把强密码验证关闭,否则以后创建用户时会非常麻烦。输入代码如下。

vi  /etc/my.conf

mysql 的配置文件在 etc 下叫做 my.conf 。可以看到没有文件。clear 清空,进入 etc 下,查看是否有一个文件没有找到。如下图。

image.png

改为 vi my.cnf 。接着修改配置文件,按 shift + g 到最后一行,按o 另起一行,写上 validate _password=OFF 即可,到这已经配置完成,关闭了密码的强验证。

 

四、通过 MySQL 提供的工具,设置 root 密码

这时,输入 service mysqld restart ,等待重启,完成之后可以通过 mysql_secure_installation 的命令设置 root 的密码,要求输入 current password for root ;如果没有设置过 root密码,这里直接回车即可。

是否要设置 root password ? Y 设置。Set root password?   [Y/n] Yroot 密码暂且设置为 hadoop 和 CentOS 一样,接着重新输入。

是否 remove 匿名的用户? Y 。emove anonymous users?   [Y/n]  Y

是否让 root 在远程登录? n 。Disallow root login remotely?  [Y/n] N^Hn^H^H Hn仍然是允许 root 在远程登录的。

是否移除测试数据库? Y ,可以移除。Remove test database and access to it?   [Y/n]   y

是否重新加载对应权限的表? y .Reload privilege tables now?   [Y/n]  Y

整个的 MySQL 就已经配置完成。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
132 6
|
1月前
|
SQL 关系型数据库 MySQL
Mysql学习笔记(三):fetchone(), fetchmany(), fetchall()详细总结
MySQL中用于数据检索的`fetchone()`, `fetchmany()`, `fetchall()`函数的功能、SQL语句示例和应用场景。
59 3
Mysql学习笔记(三):fetchone(), fetchmany(), fetchall()详细总结
|
1月前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
71 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
1月前
|
关系型数据库 MySQL 数据库
Mysql学习笔记(四):Python与Mysql交互--实现增删改查
如何使用Python与MySQL数据库进行交互,实现增删改查等基本操作的教程。
67 1
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
58 3
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
87 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
40 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
48 0
|
3月前
|
SQL 关系型数据库 MySQL
MySQL学习笔记
这篇文章是一份关于MySQL数据库操作的学习笔记,涵盖了数据库的终端操作、数据类型、建表约束、事务处理以及SQL的连接查询等基础知识点。
|
3月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
下一篇
无影云桌面