《Hadoop MapReduce性能优化》一第 2 章 Hadoop参数概述

简介:

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第2章,第2.1节,作者: 【法】Khaled Tannir 译者: 范欢动 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

第 2 章 Hadoop参数概述

Hadoop MapReduce性能优化
第 2 章 Hadoop参数概述

一旦运行了Hadoop作业,了解集群资源是否得到了充分的利用就非常重要了。幸好,Hadoop框架提供了几个参数,可以用于对作业进行调优并指定作业在集群上的运行方式。

性能调优涉及4个方面:CPU利用率、内存占用情况、磁盘I/O和网络流量。本章会描述与这几个方面相关的大多数参数,然后介绍优化Hadoop执行的技术并定义一些配置参数。

拥有效率监测工具至关重要,当问题正在发生或者已经发生时它会发出警告,并且给出可视的指示来表明Hadoop集群正在做什么以及做了什么。本章将重点介绍使用配置参数进行Hadoop性能调优的方法,并介绍几款监测Hadoop服务的工具。

本章将介绍以下内容:

  • 研究Hadoop的可调参数;
  • 与CPU利用率、内存、磁盘I/O以及网络相关的Hadoop配置参数;
  • Hadoop性能指标;
  • Hadoop监测工具。
相关文章
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
68 2
|
5月前
|
分布式计算 Hadoop Java
|
6月前
|
存储 分布式计算 算法
Hadoop性能优化数据压缩和编码
【6月更文挑战第8天】
74 6
|
6月前
|
存储 分布式计算 Hadoop
Hadoop性能优化同机架优先
【6月更文挑战第11天】
45 2
|
6月前
|
存储 分布式计算 算法
|
6月前
|
存储 缓存 分布式计算
Hadoop性能优化网络传输压力
【6月更文挑战第7天】
72 5
|
6月前
|
存储 分布式计算 监控
|
4月前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
4月前
|
分布式计算 资源调度 监控
MapReduce程序中的主要配置参数详解
【8月更文挑战第31天】
159 0
|
6月前
|
存储 分布式计算 负载均衡