开发者社区> 问答> 正文

在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月

才使用odps,之前一直用pyspark做数据清洗,之前的做法,就是利用一层循环,依次读取数据,在依次写入分区表,但是这里,只能写sql进行操作,只能一个分区一个分区的执行,有没有类似于循环结构体的这种写法,求教

展开
收起
游客v5iscfxtv4tju 2019-05-30 00:15:44 3910 0
2 条回答
写回答
取消 提交回答
  • 建议借助于DataWorks,数据集成同步的功能,可以指定partition的导入导出。

    2020-02-28 16:44:27
    赞同 展开评论 打赏
  • 有周期任务可以配置,读取和写入的具体分区用宏定义,具体调度执行的时候替换成正确的周期即可

    2019-07-17 23:36:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载