开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks是所有写oss的只要是字符串字段他就会trim对吗?

DataWorks是所有写oss的只要是字符串字段他就会trim对吗?

展开
收起
cuicuicuic 2023-11-14 08:03:02 47 0
4 条回答
写回答
取消 提交回答
  • DataWorks在处理OSS中的字符串字段时,会进行trim操作。这是由于DataWorks的离线读OSS Reader实现了从OSS读取数据并转为数据集成协议的功能,对无结构化数据存储的OSS进行处理。所以,只要字段类型是字符串,DataWorks在写OSS时都会进行trim操作。

    2023-11-30 14:02:29
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    默认情况下,DataWorks在将数据写入OSS时会将字符串类型的字段进行trim操作。这是因为DataWorks默认认为字符串字段中不应该包含多余的空格,而且这也有助于节省存储空间。
    不过,如果您不想进行trim操作,可以在同步配置中关闭此选项。在同步配置页面中,选择“高级”选项卡,然后取消选中“字符串类型字段自动trim”。这样,DataWorks就不会对字符串类型的字段进行trim操作了。

    2023-11-14 13:27:59
    赞同 展开评论 打赏
  • 只有string类型,image.png
    FileFormat是csv 的会执行trim,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-14 11:36:55
    赞同 展开评论 打赏
  • DataWorks在写入OSS时,默认会对字符串字段做trim处理。这意味着它会删除字段值中的空格和换行符等空白字符。
    如果你不希望进行trim处理,可以取消trim设置,具体步骤如下:

    1. 进入DataWorks任务的配置页面;
    2. 找到对应的表和字段;
    3. 取消trim复选框;
    4. 保存配置并重启任务。

    请注意,取消trim处理可能导致输入数据中的无效字符影响数据的准确性,需要慎重考虑。

    2023-11-14 10:21:13
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载