Hadoop 配置

简介: core-site.xml 是 Hadoop 核心全局配置文件【2月更文挑战第20天】

在 Hadoop 中,core-site.xml 是 Hadoop 核心全局配置文件,用于配置 HDFS 地址、端口号以及临时文件目录等。

image.png


<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 用于设置 Hadoop 的默认文件系统,由 URI 指定 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 配置 Hadoop 的临时目录,默认值为 /tmp/hadoop-user.name -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.3/tmp</value>
    </property>
</configuration>
  1. fs.defaultFS:指定 Hadoop 的默认文件系统,这里使用本地 HDFS 集群的 URI 作为示例。
  2. hadoop.tmp.dir:指定 Hadoop 的临时目录,这里设置为 /home/hadoop/hadoop-2.7.3/tmp。

详细内容

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

image.png

mapred-site.xml

/etc/hadoop/mapred-site.xml

  1. 任务执行器(Task Execution)
  2. 调度器(Scheduler)
  3. 历史服务器(History Server)

  4. mapreduce.framework.name:设置 MapReduce 任务使用的框架名称,例如 "yarn" 或 "mr1"。

  5. mapreduce.application.classpath:设置 MapReduce 任务的类路径。
  6. mapreduce.job.user.name:设置 MapReduce 任务的用户名。
  7. mapreduce.job.queue.name:设置 MapReduce 任务所在的队列名称。
  8. mapreduce.job.reuse.filesystem.dir:设置是否重用文件系统目录。
  9. mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 设置 MapReduce 任务使用的框架名称 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 设置 MapReduce 任务的类路径 -->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>/path/to/your/classpath</value>
    </property>
    <!-- 设置 MapReduce 任务的用户名 -->
    <property>
        <name>mapreduce.job.user.name</name>
        <value>your-username</value>
    </property>
    <!-- 设置 MapReduce 任务所在的队列名称 -->
    <property>
        <name>mapreduce.job.queue.name</name>
        <value>your-queue-name</value>
    </property>
    <!-- 设置是否重用文件系统目录 -->
    <property>
        <name>mapreduce.job.reuse.filesystem.dir</name>
        <value>true</value>
    </property>
    <!-- 设置每个 Map 和 Reduce 任务的内存限制 -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2048</value>
    </property>
</configuration>
目录
相关文章
|
12天前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
85 0
|
8月前
|
分布式计算 资源调度 Hadoop
|
1天前
|
SQL 分布式计算 资源调度
Hadoop Yarn 配置多队列的容量调度器
配置Hadoop多队列容量调度器,编辑`capacity-scheduler.xml`,新增`hive`队列,`default`队列占总内存40%,最大60%;`hive`队列占60%,最大80%。配置包括队列容量、用户权限和应用生存时间等,配置后使用`yarn rmadmin -refreshQueues`刷新队列,无需重启集群。多队列配置可在Yarn WEB界面查看。
|
5天前
|
分布式计算 Hadoop 数据安全/隐私保护
现成Hadoop安装和配置,图文手把手交你
现成Hadoop安装和配置,图文手把手交你
|
12天前
|
存储 分布式计算 监控
Hadoop配置复杂性
【5月更文挑战第7天】Hadoop配置复杂性
20 3
|
12天前
|
存储 分布式计算 Hadoop
Hadoop配置
【5月更文挑战第4天】
29 1
|
12天前
|
分布式计算 Hadoop Linux
Hadoop节点IP地址和子网掩码配置
【5月更文挑战第1天】
29 5
|
12天前
|
分布式计算 网络协议 Hadoop
Hadoop节点扩展配置DNS和主机名解析
【4月更文挑战第19天】
25 1
|
12天前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
25 0
|
12天前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
20 0

相关实验场景

更多