ODPS技术架构及应用实践
DT时代,数据是宝贵的生产资料,不断扩大的数据规模给ODPS带来极大地挑战。阿里巴巴坚持对ODPS的投入开发,采用内聚式平台系统架构,各个组件紧凑内聚,除了结构化数据处理SQL、分布式编程模型MapReduce外,还包含图计算模型、实时流处理和机器学习平台。随着ODPS对外开放的不断推进和第三方数据
hive数据迁移
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。
[export/import]
设置默认需要导出的hive数据库
在hive目录/etc/alternatives/hive-conf下添加.hiverc
vi ~/.hiverc
use test;
创建数据临时目录
hdfs dfs -mkdir /tmp/