开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问DataWorks这个现在不能设置同步的表和过滤条件了吗?

请问DataWorks这个现在不能设置同步的表和过滤条件了吗?12d1940bb6762a69436ec5e1a5d31666.png

展开
收起
真的很搞笑 2024-01-27 17:14:12 40 0
2 条回答
写回答
取消 提交回答
  • 要点下一步的吧,这个是设置数据源和数据去向的页面,下一步点过之后是设置具体的表,数据过滤 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 09:20:38
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    可以设置同步的表和过滤条件

    在DataWorks中,您可以通过定义同步策略来设置同步的表和过滤条件。具体操作步骤如下:

    1. 新建离线同步节点:在DataWorks控制台中,选择数据建模与开发,然后进入数据开发环节。在这里,您可以新建一个离线同步节点,这是创建业务流程的第一步。
    2. 配置同步网络链接:在新建节点后,需要配置同步网络链接,以确保数据能够从源存储系统传输到目标存储系统。
    3. 转脚本模式并导入模板:在配置好同步网络链接后,可以转到脚本模式并导入相应的模板,以便进行后续的编辑和配置。
    4. 编辑脚本,配置同步任务:在脚本模式中,您可以编辑脚本来配置同步任务。例如,如果您需要进行增量同步,可以通过编写WHERE语句来对待同步的数据表进行过滤。在增量条件框中填写WHERE子句时,无需写WHERE关键字。
    5. 配置调度属性:完成脚本编辑后,您可以配置调度属性,如同步任务的调度周期等。这有助于实现定时同步,例如每天凌晨自动从源数据库读取前一天的表数据。
    6. 提交并发布任务:最后,提交并发布任务,这样同步任务就会按照您配置的策略执行。

    总的来说,通过以上步骤,您不仅可以设置同步的表,还可以根据需要设置过滤条件,以实现精确的数据同步。如果在操作过程中遇到困难,建议参考官方文档或联系技术支持获取更详细的指导。

    2024-01-27 20:56:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多