hive数据迁移-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

hive数据迁移

简介: hive数据迁移

比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。

[export/import]

  • 设置默认需要导出的hive数据库
在hive目录/etc/alternatives/hive-conf下添加.hiverc
vi ~/.hiverc
use test;
  • 创建数据临时目录
hdfs dfs -mkdir /tmp/test
  • 生成导出数据脚本
hive -e "show tables " | awk '{printf "export table %s to |/tmp/hive-export/%s|;\n",$1,$1}' | sed "s/|/'/g" > /home/hive/qcf/export.hql
  • 手工导出数据到hdfs
hive -f export.hql

- 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/ test 目录 先get到本地:

hdfs dfs -get /tmp/ test /*
  • 然后put到目标集群上
hdfs dfs -put * /tmp/test
  • 构造导入语句
cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql
sed -i 's/ to / from /g' import.sql
  • 导入数据
在hive目录/etc/alternatives/hive-conf下添加.hiverc
vi ~/.hiverc
use test;
hive -f import.sql  

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章
最新文章
相关文章