sqoop2 五分钟实例

简介:

一、启动客户端

sqoop2-shell


二、设置服务端

 set server --host your.host.com --port 12000 --webapp sqoop

或者

set server --url http://sqoop2.company.net:80/sqoop

当 --url被指定后 --host,--port,--webapp将要被忽略

三、查看版本

show version --all


四、创建link

显示可用的连接

 show connector


1)根据connector的id创建 link1,下面的4为generic-jdbc-connector 的id

 create link -c 4


填写信息

Name: First Link


JDBC Driver Class: com.mysql.jdbc.Driver

JDBC Connection String: jdbc:mysql://mysql.server/database


Username: root

Password: *****

entry#回车

New link was successfully created with validation status OK and persistent id 1

2)创建link2,下面的4为hdfs-connector 的id

 create link -c 3


Name: Second Link


Link configuration

HDFS URI: hdfs://master:9000/

New link was successfully created with validation status OK and persistent id 2


五、创建job



create job -f 1 -t 2

Name: Sqoopy


 FromJob configuration


  Schema name:(Required)test

  Table name:(Required)testsqoop

  Table SQL statement:(Optional)

  Table column names:(Optional)

  Partition column name:(Optional) id        说明:这个我没有指定 测试的表如果没有主键会报错

  Null value allowed for the partition column:(Optional)

  Boundary query:(Optional)


ToJob configuration


  Output format:

   0 : TEXT_FILE

   1 : SEQUENCE_FILE

  Choose: 0

  Compression format:

   0 : NONE

   1 : DEFAULT

   2 : DEFLATE

   3 : GZIP

   4 : BZIP2

   5 : LZO

   6 : LZ4

   7 : SNAPPY

   8 : CUSTOM

  Choose: 0

  Custom compression format:(Optional)

  Output directory:(Required)/testsqoop


  Driver Config

  Extractors:(Optional) 2

  Loaders:(Optional) 2

  New job was successfully created with validation status OK  and persistent id 1


六、运行job

start job -j 1


七、查看状态


status job -j 1


八、完成后查看hdfs中是否有/testsqoop目录(说明:重新运行job好像需要删除存在的目录)










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1713190,如需转载请自行联系原作者
目录
相关文章
|
SQL 分布式计算 监控
Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。
835 2
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
2174 0
|
11月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
281 3
|
11月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
280 0
|
11月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
133 0
|
11月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
180 0
|
SQL 关系型数据库 MySQL
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
591 0
|
SQL Java 数据库
Sqoop【付诸实践 02】Sqoop1最新版 全库导入 + 数据过滤 + 字段类型支持 说明及举例代码(query参数及字段类型强制转换)
【2月更文挑战第10天】Sqoop【付诸实践 02】Sqoop1最新版 全库导入 + 数据过滤 + 字段类型支持 说明及举例代码(query参数及字段类型强制转换)
516 0
|
分布式计算 关系型数据库 Hadoop
使用Sqoop将数据从Hadoop导出到关系型数据库
使用Sqoop将数据从Hadoop导出到关系型数据库

热门文章

最新文章