hadoop

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: core-site.xml



 

      fs.default.name

      hdfs://master1:9000

 

 

      hadoop.tmp.dir

      /mnt/memdisk/data/hadoop

 

 

      fs.alluxio.impl

      alluxio.hadoop.FileSystem

      The Alluxio FileSystem

 

 

      fs.oss.endpoint

      oss-cn-shenzhen-internal.aliyuncs.com

      Aliyun OSS endpoint to connect to.

 

 

      fs.oss.accessKeyId

      Aliyun access key ID

 

 

      fs.oss.accessKeySecret

 

      Aliyun access key secret

 

 

      fs.oss.connection.maximum

      8192

      Number of simultaneous connections to oss.

 

 

      fs.oss.upload.active.blocks

      4

 

 

      fs.oss.block.size

      134217728

 

 

      fs.oss.multipart.download.threads

      96

 

 

      fs.oss.impl

      org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem

 

 

      fs.oss.buffer.dir

      /mnt/disk1/oss-tmp

 

 

      fs.dadi.impl

      org.apache.hadoop.fs.dadi.DadiFileSystem

 


 

      fs.AbstractFileSystem.dadi.impl

      org.apache.hadoop.fs.dadi.Dadi

 

 

      fs.dadi.params

      backing_fs_id=oss,cache_fs_id=block|configFile=/opt/dadi-hadoop/dadi_agent/conf/dadi-agent.conf|

 

 

      dadi.discover-nodes-url

      http://master1:8034/ws/v1/cluster/nodes/

 


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
5月前
|
XML 分布式计算 Hadoop
hadoop
hadoop
422 0
|
7月前
|
分布式计算 资源调度 Hadoop
02 Hadoop介绍
02 Hadoop介绍
23 0
|
分布式计算 资源调度 Java
Hadoop3.2.0使用详解
Hadoop3.2.0使用详解1.概述Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的。截止本篇博客书写为止,Hadoop发布了3.2.0。接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法。
3521 0
|
分布式计算 资源调度 Hadoop
|
存储 分布式计算 Hadoop
Hadoop The First Day!!!
Hadoop MapReduce
1378 0
|
分布式计算 Java Hadoop
|
存储 SQL 分布式计算
|
存储 分布式计算 大数据

相关实验场景

更多