开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks某一条具体的脏数据信息嘛 我想取数据库看看 那个字段有多长 我看不到关键信息?

已解决

DataWorks某一条具体的脏数据信息嘛 我想取数据库看看 那个字段有多长 现在 那个日志被截取了 我看不到关键信息?

展开
收起
真的很搞笑 2023-11-20 07:56:09 42 0
3 条回答
写回答
取消 提交回答
  • 采纳回答

    对于DataWorks中的脏数据,您可以通过以下步骤进行查看和定位:

    1. 增大脏数据限制条数,扩大阈值,容忍脏数据。源端脏数据仍存在,不同步到目的端,日志会显示脏数据记录,任务不会报错。

    2. 根据运行日志定位源端脏数据,修复后再同步。

    3. 如果遇到特定问题,如时间格式导致报错脏数据,需要根据报错原因,调整同步应如何解析该时间格式的数据。

    4. 您可以在同步任务配置时指定脏数据产生条数,控制是否允许脏数据产生。

    2023-11-21 17:56:30
    赞同 展开评论 打赏
  • 如果想要查看被截取的关键信息,可以在日志中搜索关键字段(如错误码或关键字)。在 DataWorks 中也可以尝试采用以下两种方式:

    1. 查看监控日志:在资源监控模块下,可以选择“日志服务”并输入关键词查询日志;
    2. 使用SQL查询:如果有足够的权限,可以通过SQL查询出指定的日志内容;
    2023-11-20 18:16:03
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果 DataWorks 日志被截取了,您可以采取以下措施来查看具体的脏数据信息:

    1. 查看源表和目标表的数据。您可以比较源表和目标表中相同字段的数据,找出脏数据的来源。
    2. 查看数据同步任务的配置。您可以查看源表和目标表之间的映射关系,并检查数据同步任务的配置是否正确。
    3. 使用 DataWorks 的日志分析工具。您可以在 DataWorks 中打开日志分析工具,查看详细的日志信息。
    4. 使用 DataWorks 的监控功能。您可以使用 DataWorks 的监控功能,及时发现和追踪脏数据的来源。
    2023-11-20 13:03:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DTCC 2022大会集锦《云原生一站式数据库技术与实践》 立即下载
    阿里云瑶池数据库精要2022版 立即下载
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载