阿里云大数据利器之-RDS迁移到Maxcompute实现自动分区

drop table if exists emp_test_new_temp;
CREATE TABLE emp_test_new_temp 
(date_time STRING,
	name STRING,
	age BIGINT,
	sal DOUBLE);	

        

          
        
        
        

          

          AI 代码解读
        
      
      

drop table if exists emp_test_new;
--创建一个ODPS分区表（最终目的表）
	CREATE TABLE emp_test_new (
	date_time STRING,
	name STRING,
	age BIGINT,
	sal DOUBLE
)
PARTITIONED BY (
	date_test STRING
);
--执行动态分区sql，按照临时表的字段date_time自动分区，date_time字段中相同的数据值，会按照这个数据值自动创建一个分区值
--例如date_time中有些数据是2017-08-25，会自动在ODPS分区表中创建一个分区，date=2017-08-25
--动态分区sql如下
--可以注意到sql中select的字段多写了一个date_time，就是指定按照这个字段自动创建分区
insert overwrite table emp_test_new partition(date_test)select date_time,name,age,sal,date_time from emp_test_new_temp
--导入完成后，可以把临时表删除，节约存储成本
drop table if exists emp_test_new_temp;

        

          
        
        
        

          

          AI 代码解读
        
      
      

最后将三个节点配置成一个工作流，按顺序执行

执行过程，我们重点观察，最后一个节点的动态分区过程

最后，看下数据

完成动态分区，自动化分区。是不是很神奇，相同的日期数据，到了同一个分区里。如果是以省份命名，也是如此，我自己都怕了。

大数据开发套件实际上可以完成绝大部分的自动化作业，尤其是数据同步迁移，调度等，界面化操作使得数据集成变得简单，不用苦逼的加班搞ETL了，你懂的。