DataWorks百问百答24:怎么处理同步文件名加后缀问题?-阿里云开发者社区

开发者社区> zaid胡振宇> 正文

DataWorks百问百答24:怎么处理同步文件名加后缀问题?

简介: 怎么处理同步文件名加后缀问题?
+关注继续查看

OSS/FTP/SFTP/HDFS同步后文件名加后缀的原因:

数据集成同步数据到OSS/FTP/SFTP/HDFS时将并行多线程写入,由于对应文件系统限制,只能生成多个不重名文件才可以保证同步任务的并发运行,所以在每个文件后面加上一串随机字符串防止文件名冲突。

解决方法

目前只有OSS插件支持并发写入单个文件并且不会在文件后面加后缀,_FTP/SFTP/HDFS插件不支持_

OSS插件操作方法

在[脚本模式]增加如下配置:"writeSingleObject": true

yuq1.png

注意:如果您自定义资源组上面设置上面的参数不生效是因为您datax版本比较老建议升级版本。

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Qt之处理QNetworkAccessManager网络连接超时
简述 在网络操作中,经常会由于各种原因引起网络连接超时,究竟何为网络连接超时? 网络连接超时:在程序默认的等待时间内没有得到服务器的响应 简述 超时原因 Qt 中的网络连接超时 如何处理超时 封装类 超时原因 引起网络连接超时的原因很多,下面,列举一些常见的原因: 网络断开,不过经常显示无法连接 网络阻塞,导致你不能在程序默认等待时间
3819 0
Docker发布libnetwork,着手解决网络问题
本文讲的是Docker发布libnetwork,着手解决网络问题,【编者的话】5月1日,Docker发布了自家的容器网络管理项目libnetwork,libnetwork使用Go语言编写,目标是定义一个容器网络模型(CNM),并为应用程序提供一致的编程接口以及网络抽象。
1025 0
解析DataWorks数据集成中测试连通性失败问题
大家好,这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多,本文按照多个因素逐步排查,最终解决问题,希望大家以后再遇到此类问题,请参考此文,相信能够顺利解决您的问题。
4263 0
寻找满足后缀要求的第一个文件名及其类型的C程序实现
       问题描述        有多个带后缀的用分号分隔的文件名(形如:1.xml;2.pdf;3.jpg;4.txt),编写C程序用于将满足后缀要求的第一个文件名找出来,并显示文件的类型。
594 0
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口
3099 0
find命令/文件名后缀
2.23/2.24/2.25 find命令 2.26 文件名后缀   find 搜索文件的命令: which   它是从环境变量中找: [root@centos_1 ~]# which ls alias ls='ls --color=auto' /usr/bin/ls   ...
1108 0
[20121126]backup as copy datafile 1的问题.txt
[20121126]backup as copy datafile 1的问题.txtSQL> select * from v$version where rownumBANNER------------------------------------------...
693 0
DataWorks实时同步/实时ETL/批同步ETL灰度邀测中
DataWorks实时同步功能可以支持多种实时数据源(Kafka、MySQL Binlog,Oracle CDC等),可以将实时消息数据经过一些列处理后再写入目的数据源。同时在此前DataWorks数据集成强大EL(Extract-Load)能力基础之上,增加了数据处理能力(Transform),实现了完整了ETL链路。
1982 0
66
文章
2
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载