Hadoop 配置

简介: core-site.xml 是 Hadoop 核心全局配置文件【2月更文挑战第20天】

在 Hadoop 中,core-site.xml 是 Hadoop 核心全局配置文件,用于配置 HDFS 地址、端口号以及临时文件目录等。

image.png


<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 用于设置 Hadoop 的默认文件系统,由 URI 指定 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 配置 Hadoop 的临时目录,默认值为 /tmp/hadoop-user.name -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.3/tmp</value>
    </property>
</configuration>
  1. fs.defaultFS:指定 Hadoop 的默认文件系统,这里使用本地 HDFS 集群的 URI 作为示例。
  2. hadoop.tmp.dir:指定 Hadoop 的临时目录,这里设置为 /home/hadoop/hadoop-2.7.3/tmp。

详细内容

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

image.png

mapred-site.xml

/etc/hadoop/mapred-site.xml

  1. 任务执行器(Task Execution)
  2. 调度器(Scheduler)
  3. 历史服务器(History Server)

  4. mapreduce.framework.name:设置 MapReduce 任务使用的框架名称,例如 "yarn" 或 "mr1"。

  5. mapreduce.application.classpath:设置 MapReduce 任务的类路径。
  6. mapreduce.job.user.name:设置 MapReduce 任务的用户名。
  7. mapreduce.job.queue.name:设置 MapReduce 任务所在的队列名称。
  8. mapreduce.job.reuse.filesystem.dir:设置是否重用文件系统目录。
  9. mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 设置 MapReduce 任务使用的框架名称 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 设置 MapReduce 任务的类路径 -->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>/path/to/your/classpath</value>
    </property>
    <!-- 设置 MapReduce 任务的用户名 -->
    <property>
        <name>mapreduce.job.user.name</name>
        <value>your-username</value>
    </property>
    <!-- 设置 MapReduce 任务所在的队列名称 -->
    <property>
        <name>mapreduce.job.queue.name</name>
        <value>your-queue-name</value>
    </property>
    <!-- 设置是否重用文件系统目录 -->
    <property>
        <name>mapreduce.job.reuse.filesystem.dir</name>
        <value>true</value>
    </property>
    <!-- 设置每个 Map 和 Reduce 任务的内存限制 -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2048</value>
    </property>
</configuration>
目录
相关文章
|
14天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
41 4
|
15天前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
82 5
|
14天前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
33 3
|
15天前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
38 4
|
15天前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
45 4
|
14天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
45 2
|
14天前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
36 2
|
14天前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
33 1
|
1月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
61 3
Hadoop集群配置https实战案例
|
14天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
35 0

相关实验场景

更多