Sqoop实操案例-互联网招聘数据迁移

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Sqoop实操案例-互联网招聘数据迁移

1.环境介绍


本次用到的环境有:

Oracle Linux 7.4
Hadoop 2.7.4
mysql
sqoop


2.启动hadoop环境


1.打开命令窗口,启动HDFS平台。

start-all.sh



2.查看master上HDFS守护进程,注意:依据系统不同,实际显示可能与截图有出入,只要红色框中HDFS所示4个进程存在,即是正确

jps

3.互联网招聘数据迁移案例

1.进入Linux命令窗口,登录mysql,我这里账号密码都是root

mysql -uroot -proot


2.构建源数据库

create database job_db character set 'utf8' collate 'utf8_general_ci';


3.查看数据库

show databases;

4.使用job_db数据库

use job_db;

5.原始job.sql文件存储在/root/experiment/datas/job/job.sql,将原始数据导入mysql,构建原始表数据

source /root/experiment/datas/job/job.sql


6.查看导入结果

show tables;


7.查看表数据

select * from position;


8.退出mysql窗口

quit;


9. 进入sqoop根目录

cd /opt/sqoop



10.使用命令列出主机所有数据库

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root

11.用命令列出job_db数据库中所有的数据表

bin/sqoop list-tables --connect jdbc:mysql://localhost:3306/job_db --username root --password root

12.使用命令将数据库中的表导入到HDFS指定目录中

bin/sqoop import  --connect jdbc:mysql://localhost:3306/job_db --username root --pas


13.查看/sqoop目录下的文件

hdfs dfs -ls -R /sqoop

14.查看导入到HDFS的文件内容

hdfs dfs -cat /sqoop/position/part-m-00000


15.再次将数据库中的表数据导入HDFS中,此次采用Tab制表格将字段进行分割


bin/sqoop import  --connect jdbc:mysql://localhost:3306/job_db --username root --password root --delete-target-dir --table position  --target-dir /sqoop/position2 --m 1 --fields-terminated-by '\t'

16.查看HDFS中sqoop目录下的内容

hdfs dfs -ls -R /sqoop


17.查看导入到HDFS的文件内容

hdfs dfs -cat /sqoop/position2/part-m-00000

至此,互联网招聘数据迁移案例实验到到此结束

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
SQL 分布式计算 监控
Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。
320 2
|
11月前
|
SQL 分布式计算 Hadoop
72 sqoop数据迁移概述
72 sqoop数据迁移概述
39 2
|
5月前
|
SQL 关系型数据库 MySQL
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
205 7
|
4月前
|
SQL 关系型数据库 HIVE
sqoop笔记——一次从Hive到PostgreSql的数据迁移
sqoop笔记——一次从Hive到PostgreSql的数据迁移
205 0
|
5月前
|
缓存 关系型数据库 MySQL
Centos7 mysql和sqoop数据迁移
Centos7 mysql和sqoop数据迁移
|
SQL 数据采集 分布式计算
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的导入/导出数据
在大数据领域,数据迁移(同步/传输)也是非常重要的一环。Sqoop作为一个开源的数据迁移工具,可以帮助我们轻松地实现关系型数据库与Hadoop之间的数据迁移。本文将会对Sqoop的基本命令和使用进行详细介绍。
341 1
|
SQL 分布式计算 Oracle
大数据数据采集的数据迁移(同步/传输)的Sqoop之概念
在大数据领域,数据迁移(同步/传输)也是非常重要的一环。Sqoop作为一个开源的数据迁移工具,可以帮助我们轻松地实现关系型数据库与Hadoop之间的数据迁移。本文将会对Sqoop进行详细介绍。
446 1
|
数据采集 关系型数据库 MySQL
大数据数据采集的数据迁移(同步/传输)的Sqoop之DataX
在大数据领域中,数据迁移是一个非常重要的任务。而Sqoop是一款流行且实用的数据迁移工具,但是它对于某些特定场景的数据迁移并不太方便。为了解决这个问题,阿里巴巴集团开发了一款开源的数据集成工具DataX,提供了更多的数据迁移方式和功能。本文将介绍DataX的基本原理和使用方法,希望能够为大家提供一些参考和帮助。
421 0
|
存储 数据采集 分布式计算
大数据数据采集的数据迁移(同步/传输)的Sqoop之数据传输实战
在大数据领域,数据迁移(同步/传输)也是非常重要的一环。Sqoop作为一个开源的数据迁移工具,可以帮助我们轻松地实现关系型数据库与Hadoop之间的数据迁移。本文将介绍如何使用Sqoop进行数据传输实战。
518 0
|
存储 数据采集 SQL
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的job作业
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速地移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍Sqoop的基本命令及如何使用Sqoop来创建和运行job作业,希望能够为大家提供一些参考和帮助。
146 0
下一篇
无影云桌面