开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这个疑似是碰到脏数据的,可以通过修改字段数据类型来解决吗?

DataWorks这个疑似是碰到脏数据的,可以通过修改字段数据类型来解决吗?如何做?"exception":"Code:[Common-01], Describe:[同步数据出现业务脏数据情况,数据类型转换错误 .] - String[\"21d06b9142a442afa3e0bfe16e8bd988\"]不能转为Long .","message":"写入 ODPS 目的表时遇到了脏数据: 第[21]个字段 interface_standard 的数据出现错误,请检查该数据并作出修改 或者您可以增大阀值,忽略这条记录.

展开
收起
真的很搞笑 2023-10-24 16:12:49 76 0
3 条回答
写回答
取消 提交回答
  • 从你提供的错误信息来看,这是一个数据类型转换错误。String类型的"21d06b9142a442afa3e0bfe16e8bd988"无法转换为Long类型,这是导致错误的原因。

    解决这个问题的方法有两种:

    1. 修改字段的数据类型:你可以将interface_standard字段的数据类型从String改为Long。这可以通过DataWorks的数据管理模块来实现。具体操作步骤如下:

      a. 登录到DataWorks的控制台。

      b. 在左侧导航栏中,点击“数据管理”选项。

      c. 在数据管理页面,找到对应的表,然后点击“编辑”按钮。

      d. 在编辑页面,找到interface_standard字段,将其数据类型从String改为Long。

      e. 保存更改。

    2. 修改数据质量规则:你也可以修改数据质量规则,使其能够处理这种数据类型转换错误。具体操作步骤如下:

      a. 登录到DataWorks的控制台。

      b. 在左侧导航栏中,点击“数据质量”选项。

      c. 在数据质量页面,找到对应的规则,然后点击“编辑”按钮。

      d. 在编辑页面,修改规则,使其能够处理这种数据类型转换错误。

      e. 保存更改。

    以上就是解决这个问题的两种方法,你可以根据实际情况选择合适的方法。

    2023-10-25 11:04:21
    赞同 展开评论 打赏
  • 修改源端类型 或者 目标端的字段类型,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-24 23:05:37
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果数据类型错误导致脏数据问题,可以尝试修改字段数据类型来解决。以下是一个示例:

    1. 在DataWorks中,选择目标表,点击“数据质量”标签,选择“数据类型检查”。
    2. 在“数据类型检查”页面,找到有问题的字段,点击“修改”。
    3. 在弹出的对话框中,选择正确的数据类型,然后点击“确定”。
    4. 数据类型修改后,保存并应用更改。
    2023-10-24 22:13:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多