开发者社区> 科技小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Sqoop数据分析引擎安装与使用

简介:
+关注继续查看

Sqoop数据分析引擎安装与使用


 ==>什么是Sqoop ?

      Sqoop 是一个开源的数据处理引擎,主要是通过  JDBC 为媒介, 在Hadoop(Hive)与 传统的关系型数据库(Oracle, MySQL,Postgres等)间进行数据的传递

                                               

       HDFS  Hive   HBase   <       JDBC     >  Oracle,  MySQL,


==> Sqoop 的安装:

        1. 将安装包解压:tar zxf sqoop-1.4.6.bin__hadoop-0.23.tar.gz -C /app

        2. 配置环境变量:

            vim  ~/.bash_profile

                SQOOP_HOME=/app/sqoop-1.4.6.bin__hadoop-0.23

                export  SQOOP_HOME

                PATH=$SQOOP_HOME/bin:$PATH

================================================================

        3. 因为需要通过 JDBC 与数据库进行数据传输,所以需要将数据库的 JDBC 工具包放入到 lib 目录下

                打开oracle 安装目录:  C:\oracle\product\10.2.0\db_1\jdbc\lib

                将 ojdbc14.jar  文件复制到 sqoop 的 bin 目录下: /app/sqoop-1.4.6.bin__hadoop-0.23/bin


==> Sqoop 的命令详解:(注意:在oracle 中,用户名和表名要全部大写)

         codegen ---> 将关系数据库表映射为一个Java 文件, Java class类, 以及相关的 jar 包

                    sqoop  codegen  \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username   SCOTT  --password  oracle  \

                    --table  EMP

================================================================

        create-hive-table ---> 生成与关系数据库表结构对应的 Hive 表

                    sqoop  create-hive-table \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username  SCOTT  --password  oracle  \

                    --table  EMP

                    --hive-table  emphive

================================================================

        eval    --->  快速地使用 SQL 语句对关系数据库进行操作

                        这可以在使用的  import 这种工具进行数据导入的时候,检查 SQL 语句是否正确,并将结果显示在控制台

                    sqoop  eval  \

                    --connect  jdbc:oracal:thin:@192.168.10.210:1521:orcl   \

                    --username  SCOTT   --password   oracle

                    --query  "select  *  from   emp"

================================================================

        export ---> 从hdfs 中导数据到关系数据库中

                    sqoop  export  \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   \

                    --username  SCOTT   --password   oracle   \

                    --table   STUDENTS            # 表

                    --export-dir   /students        # HDFS 中的数据表

================================================================

        import ---> 将数据库表的数据导入到 HDFS 中

                    sqoop   export  \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   \

                    --username  SCOTT  --password   oracle

                    --table  EMP  \

                    --target-dir   /emp

-------------------------------------------------------------------------------------------------------------

                    --->将数据导入到HBase 中(需要先将表创建)

                sqoop  import  \

                --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   \

                --username  SCOTT  --password   oracle   \

                --table  EMP      --columns  empno, ename, sal, deptno   \

                --hbase-table  emp   --hbase-row-key   empno  --column-family   empinfo

                                                             row-key                            列族

================================================================

        import-all-tables ---> 将数据库中所有的表的数据导入到 HDFS 中

                    sqoop   import-all-tables  \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   \

                    --username  SCOTT   --password  oracle   \

                    --m  1

================================================================

        job  --> 用来生成一个 Sqoop 的任务,生成后,该 任务不执行,除非使用命令执行该任务

================================================================

        list-databases  ---> 打印出关系数据库所有数据库名

                    sqoop  list-databases   \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   

                    --username   SYSTEM   --password   oracle  

================================================================

        list-table --->  打印出关系数据库中所有的表名

                    sqoop   list-table  \

                    --connect  jdbc:oracle:thin:@192.168.10.210:1521:orcl   \

                    --username  SCOTT  --password   oracle   \

                    -m  1

================================================================

        merge  ---> 将 HDFS 中不同目录下的数据合在一起,并存放在指定的目录中

================================================================

        metastore  --->  记录 Sqoop  job 的元数据信息

================================================================

        version  --->  显示 Sqoop 版本信息

================================================================




      

       


本文转自 菜鸟的征程 51CTO博客,原文链接:http://blog.51cto.com/songqinglong/2060384




版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hive数据分析实战
有以下几张数据表,请写出Hive SQL语句,实现以下需求。 注:分区字段为dt,代表日期。
0 0
Sqoop进行Hadoop生态离线数据迁移工具
学习一个东西,个人认为最好的方式是:官网+源码+实践。 Sqoop官网:http://sqoop.apache.org
0 0
《离线和实时大数据开发实战》(五)Hive 优化实践1
《离线和实时大数据开发实战》(五)Hive 优化实践1
0 0
Dremio案例_Hive数据分析
说明 Dremio-3.3.1支持Hive-2.1.1版本 1.Hive批量导入数据 a).创建表 ## 创建文本数据导入表 CREATE TABLE IF NOT EXISTS database.table_name( agent_id int, accept_time string, ...
1390 0
Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎
在大数据场景中,HBase由于其高吞吐,高并发,实时可见等特性往往被作为在线主存储,云HBase团队融合了在线存储引擎和全文引擎的优势,解决了针对在线大数据存储的复杂查询难题,并提供SQL统一表达,降低用户使用门槛。通过一站式产品能力,用户可以更加灵活高效地解决业务问题。
825 0
搜狗日志Hive数据分析
使用HIve对500w条搜狗日志进行了分析
2960 0
Kylin - 分析数据
I. Create a Project Go to Query page in top menu bar, then click Manage Projects.
1005 0
Spark-数据分析可视化Zeppelin
官网介绍 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括Spark, hive, tajo等,原生支持scala, Java, shell, markdown等。
1777 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲
立即下载
《基于Hologres和Flink的实时数据分析方案》
立即下载
Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化
立即下载