DataWorks中HDFS Writer参数说明是什么?

DataWorks中HDFS Writer参数说明是什么?

展开
收起
真的很搞笑 2023-08-16 10:16:05 229 分享 版权
1 条回答
写回答
取消 提交回答
  • 参数 描述 是否必选 默认值
    defaultFS Hadoop HDFS文件系统namenode节点地址,例如hdfs://127.0.0.1:9000。公共资源组不支持Hadoop高级参数HA的配置,请新增自定义数据集成资源组。 是 无
    fileType 文件的类型,目前仅支持您配置为text、orc和parquet: 是 无
    path 存储到Hadoop HDFS文件系统的路径信息,HDFS Writer会根据并发配置在path目录下写入多个文件。 为了与Hive表关联,请填写Hive表在HDFS上的存储路径。例如Hive上设置的数据仓库的存储路径为/user/hive/warehouse/,已建立数据库test表hello,则对应的存储路径为/user/hive/warehouse/test.db/hello。 是 无
    fileName HDFS Writer写入时的文件名,实际执行时会在该文件名后添加随机的后缀作为每个线程写入实际文件名。 是 无
    column 写入数据的字段,不支持对部分列写入。 为了与Hive中的表关联,需要指定表中所有字段名和字段类型,其中name指定字段名,type指定字段类型。 是(如果filetype为parquet,此项无需填写) 无
    writeMode HDFS Writer写入前数据清理处理模式: 是 无
    fieldDelimiter HDFS Writer写入时的字段分隔符,需要您保证与创建的Hive表的字段分隔符一致,否则无法在Hive表中查到数据。 是(如果filetype为parquet,此项无需填写) 无
    compress HDFS文件压缩类型,默认不填写,则表示没有压缩。 其中text类型文件支持gzip和bzip2压缩类型,orc类型文件支持SNAPPY压缩类型(您需要安装SnappyCodec,才能支持SNAPPY压缩类型。请提交工单安装SnappyCodec。)。 否 无
    encoding 写文件的编码配置。 否 无压缩
    parquetSchema 写Parquet格式文件时的必填项,用来描述目标文件的结构,所以此项当且仅当fileType为parquet时生效,格式如下。 message MessageType名 { 否 无
    hadoopConfig hadoopConfig中可以配
    https://help.aliyun.com/document_detail/137759.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-16 13:44:58
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理