在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月

游客v5iscfxtv4tju 2019-05-30 00:15:44 1419

才使用odps,之前一直用pyspark做数据清洗,之前的做法,就是利用一层循环,依次读取数据,在依次写入分区表,但是这里,只能写sql进行操作,只能一个分区一个分区的执行,有没有类似于循环结构体的这种写法,求教

数据采集 SQL 分布式计算 大数据 MaxCompute
分享到
取消 提交回答
全部回答(2)
  • 逗逗逗
    2020-02-28 16:44:27

    建议借助于DataWorks,数据集成同步的功能,可以指定partition的导入导出。

    0 0
  • 桩子是我
    2019-07-17 23:36:20

    有周期任务可以配置,读取和写入的具体分区用宏定义,具体调度执行的时候替换成正确的周期即可

    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题