在 Hadoop 中,core-site.xml 是 Hadoop 核心全局配置文件,用于配置 HDFS 地址、端口号以及临时文件目录等。
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- 用于设置 Hadoop 的默认文件系统,由 URI 指定 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 配置 Hadoop 的临时目录,默认值为 /tmp/hadoop-user.name -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.7.3/tmp</value>
</property>
</configuration>
- fs.defaultFS:指定 Hadoop 的默认文件系统,这里使用本地 HDFS 集群的 URI 作为示例。
- hadoop.tmp.dir:指定 Hadoop 的临时目录,这里设置为 /home/hadoop/hadoop-2.7.3/tmp。
详细内容
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml
mapred-site.xml
/etc/hadoop/mapred-site.xml
- 任务执行器(Task Execution)
- 调度器(Scheduler)
历史服务器(History Server)
mapreduce.framework.name:设置 MapReduce 任务使用的框架名称,例如 "yarn" 或 "mr1"。
- mapreduce.application.classpath:设置 MapReduce 任务的类路径。
- mapreduce.job.user.name:设置 MapReduce 任务的用户名。
- mapreduce.job.queue.name:设置 MapReduce 任务所在的队列名称。
- mapreduce.job.reuse.filesystem.dir:设置是否重用文件系统目录。
- mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- 设置 MapReduce 任务使用的框架名称 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 设置 MapReduce 任务的类路径 -->
<property>
<name>mapreduce.application.classpath</name>
<value>/path/to/your/classpath</value>
</property>
<!-- 设置 MapReduce 任务的用户名 -->
<property>
<name>mapreduce.job.user.name</name>
<value>your-username</value>
</property>
<!-- 设置 MapReduce 任务所在的队列名称 -->
<property>
<name>mapreduce.job.queue.name</name>
<value>your-queue-name</value>
</property>
<!-- 设置是否重用文件系统目录 -->
<property>
<name>mapreduce.job.reuse.filesystem.dir</name>
<value>true</value>
</property>
<!-- 设置每个 Map 和 Reduce 任务的内存限制 -->
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
</configuration>