开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

你好,DataWorks中我有一张天全量分区表,非常的大,我只想每天同步近30天的数据到mysql?

问题1:你好,DataWorks中我有一张天全量分区表,非常的大,我只想每天同步近30天的数据到mysql上。请问我该怎么做呢?在数据集成这里我似乎没法过滤最近30天的数据?image.png 问题2:您没有理解我的意思,我这边是天全量表,每天的分区都是全量数据。

比如今天的分区就是20230530,里面是历史迄今的所有数据。 我需要的是今天20230530分区里:最新30天的数据

不知道这样子前置过滤可以实现吗 在数据同步的时候

展开
收起
真的很搞笑 2023-06-03 09:50:03 109 0
1 条回答
写回答
取消 提交回答
  • 回答1:参考一下maxcompute reader 分区的配置方式 可以配置读取多分区 https://help.aliyun.com/document_detail/181656.html?spm=a2c4g.171764.0.0.4ac03dc09mmvrpimage.png 回答2:需要同步一个分区里的部分数据是么 目前同步任务不支持哈 因为执行的是tunnel 最小粒度是单分区 建议先过滤好写到tmp表 再用tmp表同步,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-03 10:00:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关镜像