DataWorks是所有写oss的只要是字符串字段他就会trim对吗?
DataWorks在处理OSS中的字符串字段时,会进行trim操作。这是由于DataWorks的离线读OSS Reader实现了从OSS读取数据并转为数据集成协议的功能,对无结构化数据存储的OSS进行处理。所以,只要字段类型是字符串,DataWorks在写OSS时都会进行trim操作。
默认情况下,DataWorks在将数据写入OSS时会将字符串类型的字段进行trim操作。这是因为DataWorks默认认为字符串字段中不应该包含多余的空格,而且这也有助于节省存储空间。
不过,如果您不想进行trim操作,可以在同步配置中关闭此选项。在同步配置页面中,选择“高级”选项卡,然后取消选中“字符串类型字段自动trim”。这样,DataWorks就不会对字符串类型的字段进行trim操作了。
只有string类型,
FileFormat是csv 的会执行trim,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks在写入OSS时,默认会对字符串字段做trim处理。这意味着它会删除字段值中的空格和换行符等空白字符。
如果你不希望进行trim处理,可以取消trim设置,具体步骤如下:
请注意,取消trim处理可能导致输入数据中的无效字符影响数据的准确性,需要慎重考虑。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。