开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

我用dataworks not in 过滤客户ID时出现多过滤掉数据的情况,业务逻辑没有发生任何变化

我用dataworks not in 过滤客户ID时出现多过滤掉数据的情况,业务逻辑没有发生任何变化,这个问题突然出现的。怎么办?

展开
收起
游客3oewgrzrf6o5c 2022-07-15 16:23:52 474 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    这个问题可能是由于 Flink 的数据源和目标表不匹配造成的。如果您使用的是 Flink 的数据源和目标表,而这些数据源和目标表的格式不匹配,就可能会出现数据过滤的问题。
    您可以尝试以下方法来解决这个问题:

    确保数据源和目标表的格式一致。您可以检查数据源和目标表的格式是否一致,如果不一致,您可以尝试将它们转换为一致的格式。
    使用 Flink 的数据转换器。您可以使用 Flink 的数据转换器来将数据源和目标表转换为一致的格式,从而避免数据过滤的问题。
    使用 Flink 的数据源和目标表配置。您可以使用 Flink 的数据源和目标表配置来配置数据源和目标表,从而避免数据过滤的问题。
    需要注意的是,使用 Flink 的数据转换器和数据源和目标表配置可能会增加任务的开销和延迟。因此,您需要根据实际情况来决定是否使用这些方法。如果您对这些方法感兴趣,请查看 Flink 的官方文档。

    2023-07-31 07:59:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载