Centos7 mysql和sqoop数据迁移

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Centos7 mysql和sqoop数据迁移

Centos7 mysql和sqoop数据迁移

准备工作
SQOOP
MYSQL

链接:https://pan.baidu.com/s/1bmZ1ZOw4NN8_U1N9ZLVcxg 
提取码:gykw

一、mysql安装

1.禁用加速组件

vi  /etc/yum/pluginconf.d/fastestmirror.conf

由enabled = 1修改为enabled = 0 意思是禁用它

2.禁用插件

vi /etc/yum.conf

修改为plugins=0 不使用插件

3.清除缓存并重新构建yum 源

yum clean all
yum clean dbcache
yum makecache

4.下载wget

yum -y install wget

5.配置国内镜像源

cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bak
wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

6.下载mysql

hostnamectl
下载网址:https://dev.mysql.com/downloads/
你可以直接通过我给的mysql来进行安装
上传文件之后
sudo rpm -Uvh  mysql80-community-release-el7-7.noarch.rpm
sudo yum install mysql-community-server
开启服务
systemctl start mysqld
查看状态
systemctl status mysqld

7.修改默认密码

1.取出默认密码
sudo grep 'temporary password' /var/log/mysqld.log
2.登录
mysql -uroot -p
3.改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass4!';
4.查看你的密码组
SHOW VARIABLES LIKE 'validate_password%';
5.修改密码验证等级
set global validate_password.policy=LOW;
set global validate_password.length=6;
6.修改我们自己的密码
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

8.创建远程访问用户

建用户
create user 'root'@'%' identified with mysql_native_password by '123456';
赋权限
grant all privileges on *.* to 'root'@'%' with grant option;
刷新用户权限
flush privileges;

9.如果有firewalld服务

没开启的话先开启服务
systemctl start firewalld
查看状态
systemctl status firewalld 
开启3306端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent 
重新载入
firewall-cmd --reload

10.配置utf-8编码

vim /etc/my.cnf
#加进去
character_set_server=utf8
init_connect='SET NAMES utf8'
重启服务
systemctl restart mysqld

二、数据迁移

上传文件包
tar -zxvf sqoop-1.4.2.bin__had.gz
mv sqoop-1.4.2.bin__hadoop-2.0.0-alpha sqoop 
rm -rf sqoop-1.4.2.bin__hadoop-2.0.0-alpha sqoop 
cd conf
ls
复制文件
cp sqoop-env-template.sh sqoop-env.sh
配置.sh
export HADOOP_HOME=/software/hadoop
export HADOOP_COMMON_HOME=/software/hadoop
export HADOOP_MAPRED_HOME=/software/hadoop
修改配置文件
vi /etc/profile
export SQOOP_HOME=/software/sqoop
export PATH=.:$SQOOP_HOME/bin:$PATH
source /etc/profile
在这里要注意因为所提供的压缩包里面JAR不全,需要将其放入
mysql-connector-java放在这里

剩下两个放在外面

依据自己的来试一试吧
sqoop export --connect jdbc:mysql://192.168.2.125:3306/sqoop_db --username root --password 123456 --table test --export-dir /test/ --input-fields-terminated-by ','


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1天前
|
关系型数据库 MySQL Linux
CentOS7.9 安装 mysql-8.0.36 踩坑小记
CentOS7.9 安装 mysql-8.0.36排错指南
36 1
|
3天前
|
SQL 关系型数据库 MySQL
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
|
8天前
|
NoSQL 关系型数据库 应用服务中间件
jdk1.8、mysql、redis、nginx centos云服务器安装配置
jdk1.8、mysql、redis、nginx centos云服务器安装配置
|
10天前
|
关系型数据库 MySQL Linux
centos linux mysql 5.5脚本全自动源码包 编译安装
centos linux mysql 5.5脚本全自动源码包 编译安装
|
10天前
|
开发工具
centos8 yum安装mysql8 流程配置
centos8 yum安装mysql8 流程配置
|
1月前
|
关系型数据库 MySQL Linux
centos7.0环境下安装MySql_8.0.12
centos7.0环境下安装MySql_8.0.12
|
1月前
|
缓存 关系型数据库 MySQL
百度搜索:蓝易云【CentOS8服务器安装MySQL报错:no match mysql-community-server】
现在,你已经成功安装了MySQL服务器并解决了"no match mysql-community-server"的报错问题。祝你使用愉快!
52 1
|
1月前
|
关系型数据库 MySQL Unix
CentOS安装MySQL5.5
CentOS安装MySQL5.5
105 0
|
1月前
|
关系型数据库 MySQL Linux
CentOS7环境下安装MySQL5.6
CentOS7环境下安装MySQL5.6
235 0
|
1月前
|
关系型数据库 MySQL Linux
CentOS 7.4下使用yum安装MySQL5.6
CentOS 7.4下使用yum安装MySQL5.6
125 0