开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这种是模式的问题还是这平台本身对齐数据库数据来源才会有数据过滤操作?

DataWorks前是odps到达梦,现在直接修改数去向到的达梦,这种是模式的问题还是这平台本身对齐数据库数据来源才会有数据过滤操作?

展开
收起
真的很搞笑 2024-06-23 12:04:47 10 0
2 条回答
写回答
取消 提交回答
  • odps reader仅支持按分区过滤 如果有其他过滤的需求 建议先在源端处理好再同步,按这个操作可以 临时表也是odps的临时表 ,不会减少源端数据https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-06-24 18:20:36
    赞同 2 展开评论 打赏
  • DataWorks中的数据过滤操作主要是为了在数据同步过程中根据设定的规则筛选数据。如果您之前是从ODPS同步到达梦,现在直接修改数据同步的去向仍为达梦,这个过程涉及的不是模式问题,而是数据集成和数据过滤配置的更新。在DataWorks中,可以通过数据集成任务配置数据过滤转换,确保只有满足特定条件的数据被同步到目标数据库。请确保在修改数据源后,相应的数据过滤规则也已正确配置,以保证数据同步的准确性和一致性。 DataWorks-配置数据过滤转换的步骤(DataWorks产品信息)

    2024-06-24 11:34:28
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载