DataWorks中FTP Writer参数说明是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks中FTP Writer任务是一种用于将文件上传到FTP服务器的任务类型。下面是FTP Writer任务的一些常用参数说明:
FTP服务器信息:包括FTP服务器地址、端口、用户名、密码等。 本地文件路径:指定要上传的本地文件的路径。 远程文件路径:指定要将文件上传到的FTP服务器上的路径。 文件名:指定要上传的文件的名称。 文件描述:用于描述上传的文件的文本信息。 传输模式:指定上传文件的模式,有二进制模式和文本模式两种可选。 并发线程数:指定同时上传文件的线程数。 执行间隔:指定上传文件的时间间隔。 断点续传:指定是否支持断点续传功能。 传输超时时间:指定传输超时的时间。 传输日志:指定是否记录传输日志。 这些参数可以根据实际需求进行配置,以满足不同的文件上传需求。需要注意的是,FTP Writer任务只能上传文件,不能进行文件同步和复制等操作。如果需要进行文件同步和复制等操作,可以使用FTP传输任务。
参数 描述 是否必选 默认值 datasource 数据源名称,脚本模式支持添加数据源,此配置项填写的内容必须要与添加的数据源名称保持一致。 是 无 timeout 连接FTP服务器连接超时时间,单位毫秒。 否 60,000(1分钟) path FTP文件系统的路径信息,FTP Writer会写入Path目录下多个文件。 是 无 fileName FTP Writer写入的文件名,该文件名会添加随机的后缀作为每个线程写入实际文件名。 是 无 writeMode FTP Writer写入前数据清理处理模式: 是 无 fieldDelimiter 写入的字段分隔符。 是,单字符 无 skipHeader 类CSV格式文件可能存在表头为标题情况,需要跳过。默认不跳过,压缩文件模式下不支持skipHeader。 否 false compress 支持gzip和bzip2两种压缩形式。 否 无压缩 encoding 读取文件的编码配置。 否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null(空指针),数据集成提供nullFormat定义哪些字符串可以表示为null。 例如您配置nullFormat="null",如果源头数据是null,数据集成视作null字段。 否 无 dateFormat 日期类型的数据序列化到文件中时的格式,例如"dateFormat":"yyyy-MM-dd"。 否 无 fileFormat 文件写出的格式,包括CSV和TEXT两种,CSV是严格的CSV格式,如果待写数据包括列分隔符,则会按照CSV的转义语法转义,转义符号为双引号。TEXT格式是用列分隔符简单分割待写数据,对于待写数据包括列分隔符情况下不做转义。 否 TEXT header txt写出时的表头,例如['id', 'name', 'age']。 否 无 markDoneFileName 标档文件名,同步任务结束后生成标档文件,根据此标档文件可以判断同步任务是否成功。此处应配置为绝对路径。 否 无 https://help.aliyun.com/document_detail/137756.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。