开发者社区> 问答> 正文

Sqoop工作原理是什么?

Sqoop工作原理是什么?

展开
收起
茶什i 2019-10-29 14:30:03 1590 0
1 条回答
写回答
取消 提交回答
  • hadoop生态圈上的数据传输工具。
    可以将关系型数据库的数据导入非结构化的hdfs、hive或者bbase中,也可以将hdfs中的数据导出到关系型数据库或者文本文件中。
    使用的是mr程序来执行任务,使用jdbc和关系型数据库进行交互。
    import原理:通过指定的分隔符进行数据切分,将分片传入各个map中,在map任务中在每行数据进行写入处理没有reduce。
    export原理:根据要操作的表名生成一个java类,并读取其元数据信息和分隔符对非结构化的数据进行匹配,多个map作业同时执行写入关系型数据库

    2019-10-30 15:34:44
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
HBase 基本知识介绍及典型案例分析 立即下载
HBase 基本知识介绍及典型案例分析 立即下载
HBase基本知识介绍及典型案例分析 立即下载