开发者社区> 问答> 正文

E-MapReduce Hadoop参数说明?


Hadoop 代码中可使用如下参数配置:

属性名默认值说明
fs.oss.accessKeyId访问 OSS 所需的 AccessKey ID(可选)
fs.oss.accessKeySecret访问 OSS 所需的 AccessKey Secret(可选)
fs.oss.securityToken访问 OSS 所需的 STS token(可选)
fs.oss.endpoint访问 OSS 的 endpoint(可选)
fs.oss.multipart.thread.number5并发进行 OSS 的 upload part copy 的并发度
fs.oss.copy.simple.max.byte134217728使用普通接口进行 OSS 内部 copy 的文件大小上限
fs.oss.multipart.split.max.byte67108864使用普通接口进行 OSS 内部 copy 的文件分片大小上限
fs.oss.multipart.split.number5使用普通接口进行 OSS 内部 copy 的文件分片数目,默认和拷贝并发数目保持一致
fs.oss.implcom.aliyun.fs.oss.nat.NativeOssFileSystemOSS 文件系统实现类
fs.oss.buffer.dirs/mnt/disk1,/mnt/disk2,…OSS 本地临时文件目录,默认使用集群的数据盘
fs.oss.buffer.dirs.existsfalse是否确保 OSS 临时目录已经存在
fs.oss.client.connection.timeout50000OSS Client 端的连接超时时间(单位毫秒)
fs.oss.client.socket.timeout50000OSS Client 端的 socket 超时时间(单位毫秒)
fs.oss.client.connection.ttl-1连接存活时间
fs.oss.connection.max1024最大连接数目
io.compression.codec.snappy.nativefalse标识 Snappy 文件是否为标准 Snappy 文件,Hadoop 默认识别的是 Hadoop 修改过的 Snappy 格式文件

展开
收起
nicenelly 2017-10-30 16:11:37 1575 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多