开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成任务,源端mysql,配置表名可以用通配符模糊匹配吗?

DataWorks数据集成任务,源端mysql,配置表名可以用通配符模糊匹配吗?

展开
收起
cuicuicuic 2023-10-29 19:03:29 24 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,你可以使用通配符在源端进行表名的模糊匹配。你只需要在"数据预览"页面的"表名"部分输入包含通配符的表名即可。

    例如,如果你有一个名为"table20220101"的表,你可以输入"table%2022%"来匹配所有以"table_2022"开头的表。

    然而,需要注意的是,这种模糊匹配的方式可能会影响数据同步的效率。因为DataWorks需要在每次同步时都检查所有的表,以找到匹配的表。如果你的数据库中有大量的表,这可能会使数据同步变得非常慢。

    此外,这种模糊匹配的方式也可能会有误匹配的情况。例如,如果你的数据库中有两个名字非常相似的表,它们可能会被误匹配。

    因此,如果你需要频繁地更改表名,或者你的数据库中有大量的表,你可能需要考虑其他的解决方案,例如使用动态的表名,或者在源端和目标端都使用相同的表名。

    2023-10-30 14:48:08
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在我的知识库中并没有发现可以使用通配符模糊匹配的情况,但在 DataWorks 数据集成任务源端使用 MySQL 作为数据源时,可以采用以下两种方式实现类似功能:

    1. 列出所有满足要求的表名:使用通配符可以列出 MySQL 中所有满足要求的表名,但仍然需要针对每个表单独建立同步任务。
    2. 自定义 SQL 查询:编写 SQL 查询语句,提取 MySQL 数据库中满足要求的数据,而不是使用固定的表名。
    2023-10-30 11:38:37
    赞同 展开评论 打赏
  • DataWorks 的数据集成任务是指将数据从源端数据库同步到目的端数据库的一种任务类型。如果想在配置表名时使用通配符模糊匹配,可以参考以下几个步骤:

    • 在 DataWorks 管理控制台,选择数据集成 > 同步任务管理,创建或编辑数据集成任务。
    • 在数据源配置页面,选择源端和目的端的数据源,并单击下一步。
    • 在同步对象配置页面,单击添加同步对象,选择源端数据库中的表名。
    • 在表名输入框中,输入需要匹配的通配符表达式,如 test_% 表示匹配以 test_ 开头的所有表,或者 test_? 表示匹配以 test_ 开头且只有一个字符后缀的所有表。
    • 单击搜索按钮,系统会自动列出符合条件的表名,并显示匹配到的表数量。
    • 选择想要同步的表名,并单击确定。
    2023-10-30 10:15:29
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关镜像