把MySQL里的数据导入到HDFS
1、使用MySQL工具手工导入
把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句。
为了导出整个数据表或整个数据库的内容,MySQL提供了mysqldump工具。
比如
SELECT col1,col2 FORM TABLE
INTO OUTFILE '/tmp/out.csv'
FIELDS TERMINATED BY ',' , LINES TERMINATED BY '\n';
这个学格式就好,具体表看自己的。
一旦我们把数据导出到文件中,就可以用hadoop fs -put把该文件,从本地linux移到HDFS上。
2、使用Sqoop把MySQL里的数据导入到HDFS
$ sqoop import --connect jdbc:mysql://192.168.80.128/hive --username hive \ > --password hive --table employees
注意,这里根据自己的来,元数据库名,用户名和密码
把MySQL里的数据导入到Hive
$ sqoop import --connect jdbc:mysql://192.168.80.128/hive --username hive -password hive --table employees --hive-import --hive-table employees
更为详细,见
用Sqoop将mysql中的表和数据导入到Hive中
把HDFS里的数据导出到MySQL
$ sqoop export --connect jdbc:mysql://192.168.80.128/hive --username hive -password hive --table employees --export-dir edata --input-fields-terminated-by '\t‘
把HDFS里的数据导出到Hive
$ sqoop export --connect jdbc://mysql://192.168.80.128/hive -username hive -password hive --table employees --export-dir /user/hive/warehouse/employees --input-fields-terminated-by '\001' --input-lines-terminated-by '\n'
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6115754.html,如需转载请自行联系原作者