DataWorks中OSS Writer参数说明?

DataWorks中OSS Writer参数说明?

展开
收起
真的很搞笑 2023-08-27 12:57:59 189 分享 版权
1 条回答
写回答
取消 提交回答
  • 参数 描述 是否必选 默认值
    datasource 数据源名称,脚本模式支持添加数据源,该配置项填写的内容必须与添加的数据源名称保持一致。 是 无
    object OSS Writer写入的文件名,OSS使用文件名模拟目录的实现。OSS对于Object的名称有以下限制: 是 无
    writeMode OSS Writer写入前,数据的处理: 是 无
    writeSingleObject OSS写数据时,是否写单个文件: 否 false
    fileFormat 文件写出的格式,包括csv和text: 否 text
    fieldDelimiter 读取的字段分隔符。 否 ,
    encoding 写出文件的编码配置。 否 utf-8
    nullFormat 文本文件中无法使用标准字符串定义null(空指针),数据同步系统提供nullFormat定义可以表示为null的字符串。例如,您配置nullFormat="null",如果源头数据是null,数据同步系统会视作null字段。 否 无
    header(高级配置,向导模式不支持) OSS写出时的表头,例如,['id', 'name', 'age']。 否 无
    maxFileSize(高级配置,向导模式不支持) OSS写出时单个Object文件的最大值,默认为10,00010MB,类似于在打印log4j日志时,控制日志文件的大小。OSS分块上传时,每个分块大小为10MB(也是日志轮转文件最小粒度,即小于10MB的maxFileSize会被作为10MB),每个OSS InitiateMultipartUploadRequest支持的分块最大数量为10,000。 轮转发生时,Object名字规则是在原有Object前缀加UUID随机数的基础上,拼接_1,_2,_3等后缀。 否 100,000MB
    suffix(高级配置,向导模式不支持) 数据同步写出时,生成的文件名后缀。例如,配置suffix为.csv,则最终写出的文件名为fileName.csv。 否 无
    https://help.aliyun.com/document_detail/137765.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 14:20:33
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理