hadoop

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: core-site.xml



 

      fs.default.name

      hdfs://master1:9000

 

 

      hadoop.tmp.dir

      /mnt/memdisk/data/hadoop

 

 

      fs.alluxio.impl

      alluxio.hadoop.FileSystem

      The Alluxio FileSystem

 

 

      fs.oss.endpoint

      oss-cn-shenzhen-internal.aliyuncs.com

      Aliyun OSS endpoint to connect to.

 

 

      fs.oss.accessKeyId

      Aliyun access key ID

 

 

      fs.oss.accessKeySecret

 

      Aliyun access key secret

 

 

      fs.oss.connection.maximum

      8192

      Number of simultaneous connections to oss.

 

 

      fs.oss.upload.active.blocks

      4

 

 

      fs.oss.block.size

      134217728

 

 

      fs.oss.multipart.download.threads

      96

 

 

      fs.oss.impl

      org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem

 

 

      fs.oss.buffer.dir

      /mnt/disk1/oss-tmp

 

 

      fs.dadi.impl

      org.apache.hadoop.fs.dadi.DadiFileSystem

 


 

      fs.AbstractFileSystem.dadi.impl

      org.apache.hadoop.fs.dadi.Dadi

 

 

      fs.dadi.params

      backing_fs_id=oss,cache_fs_id=block|configFile=/opt/dadi-hadoop/dadi_agent/conf/dadi-agent.conf|

 

 

      dadi.discover-nodes-url

      http://master1:8034/ws/v1/cluster/nodes/

 


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
机器学习/深度学习 存储 SQL
Hadoop
Hadoop组成
207 0
|
SQL 数据采集 分布式计算
Hadoop01【介绍】
HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
Hadoop01【介绍】
|
分布式计算 资源调度 Java
Hadoop3.2.0使用详解
Hadoop3.2.0使用详解1.概述Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的。截止本篇博客书写为止,Hadoop发布了3.2.0。接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法。
3605 0
|
存储 分布式计算 大数据
hadoop介绍
以下内容是我的学习笔记,网络课程的笔记。出处 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
2754 0
|
存储 分布式计算 Hadoop
Hadoop The First Day!!!
Hadoop MapReduce
1419 0
|
存储 SQL 分布式计算
|
分布式计算 大数据 Hadoop
|
JSON 分布式计算 Java