Hadoop 配置

简介: core-site.xml 是 Hadoop 核心全局配置文件【2月更文挑战第20天】

在 Hadoop 中,core-site.xml 是 Hadoop 核心全局配置文件,用于配置 HDFS 地址、端口号以及临时文件目录等。

image.png


<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 用于设置 Hadoop 的默认文件系统,由 URI 指定 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 配置 Hadoop 的临时目录,默认值为 /tmp/hadoop-user.name -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.3/tmp</value>
    </property>
</configuration>
  1. fs.defaultFS:指定 Hadoop 的默认文件系统,这里使用本地 HDFS 集群的 URI 作为示例。
  2. hadoop.tmp.dir:指定 Hadoop 的临时目录,这里设置为 /home/hadoop/hadoop-2.7.3/tmp。

详细内容

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

image.png

mapred-site.xml

/etc/hadoop/mapred-site.xml

  1. 任务执行器(Task Execution)
  2. 调度器(Scheduler)
  3. 历史服务器(History Server)

  4. mapreduce.framework.name:设置 MapReduce 任务使用的框架名称,例如 "yarn" 或 "mr1"。

  5. mapreduce.application.classpath:设置 MapReduce 任务的类路径。
  6. mapreduce.job.user.name:设置 MapReduce 任务的用户名。
  7. mapreduce.job.queue.name:设置 MapReduce 任务所在的队列名称。
  8. mapreduce.job.reuse.filesystem.dir:设置是否重用文件系统目录。
  9. mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 设置 MapReduce 任务使用的框架名称 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 设置 MapReduce 任务的类路径 -->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>/path/to/your/classpath</value>
    </property>
    <!-- 设置 MapReduce 任务的用户名 -->
    <property>
        <name>mapreduce.job.user.name</name>
        <value>your-username</value>
    </property>
    <!-- 设置 MapReduce 任务所在的队列名称 -->
    <property>
        <name>mapreduce.job.queue.name</name>
        <value>your-queue-name</value>
    </property>
    <!-- 设置是否重用文件系统目录 -->
    <property>
        <name>mapreduce.job.reuse.filesystem.dir</name>
        <value>true</value>
    </property>
    <!-- 设置每个 Map 和 Reduce 任务的内存限制 -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2048</value>
    </property>
</configuration>
目录
相关文章
|
2月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
65 0
|
7月前
|
分布式计算 资源调度 Hadoop
|
2天前
|
分布式计算 网络协议 Hadoop
|
9月前
|
分布式计算 Hadoop Linux
Centos7配置Hadoop出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)的解决
Centos7配置Hadoop出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)的解决
391 0
|
3月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
46 0
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
54 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
88 0
|
4月前
|
分布式计算 网络协议 Hadoop
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
27 0
|
4月前
|
SQL 消息中间件 分布式计算
Hadoop学习笔记(HDP)-Part.05 Yum源配置
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
73 0
|
6月前
|
分布式计算 Hadoop
Hadoop Hdfs配置过程全程报道
Hadoop Hdfs配置过程全程报道

相关实验场景

更多