开发者社区> 技术小哥哥> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出(强烈建议去看)(十八)

简介:
+关注继续查看

把MySQL里的数据导入到HDFS

  1、使用MySQL工具手工导入

  把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句。

为了导出整个数据表或整个数据库的内容,MySQL提供了mysqldump工具。

 

  比如

  SELECT  col1,col2 FORM TABLE 

      INTO OUTFILE '/tmp/out.csv'

  FIELDS TERMINATED BY ',' , LINES  TERMINATED  BY '\n';

  这个学格式就好,具体表看自己的。

  一旦我们把数据导出到文件中,就可以用hadoop fs -put把该文件,从本地linux移到HDFS上。

 

  2、使用Sqoop把MySQL里的数据导入到HDFS

  $ sqoop  import  --connect  jdbc:mysql://192.168.80.128/hive  --username   hive   \ >  --password  hive   --table  employees

  注意,这里根据自己的来,元数据库名,用户名和密码

 

 

 

 

把MySQL里的数据导入到Hive

  $ sqoop  import  --connect jdbc:mysql://192.168.80.128/hive   --username  hive   -password  hive  --table employees   --hive-import    --hive-table  employees

  更为详细,见

用Sqoop将mysql中的表和数据导入到Hive中

 

 

 

 

 

把HDFS里的数据导出到MySQL

  $ sqoop  export --connect  jdbc:mysql://192.168.80.128/hive  --username  hive   -password  hive  --table employees   --export-dir  edata  --input-fields-terminated-by  '\t‘


 

 

把HDFS里的数据导出到Hive

 $  sqoop  export  --connect jdbc://mysql://192.168.80.128/hive  -username  hive   -password  hive  --table employees  --export-dir  /user/hive/warehouse/employees   --input-fields-terminated-by  '\001'     --input-lines-terminated-by  '\n' 



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6115754.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
mysql数据与Hadoop之间导入导出之Sqoop实例
  前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令。 显示mysql数据库的信息,一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.
1221 0
sqoop2:从mysql导出数据到hdfs
sqoop 1.99.7 从mysql导出数据到hdfs中
8841 0
sqoop用法之mysql与hive数据导入导出
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop,类似于其他ETL工具,使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。
138 0
2010
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载