《Hadoop MapReduce实战手册》一导读

简介: 本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始,但仍然可以看到深入的内容。这是一本简单的一站式指南,传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略,给出了一步步的指导和真实环境的应用示例。


q1

前 言

Hadoop MapReduce实战手册
本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始,但仍然可以看到深入的内容。这是一本简单的一站式指南,传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略,给出了一步步的指导和真实环境的应用示例。

本产品包括在Apache软件基金会(http://www.apache.org/)开发的软件。

本书涵盖的内容
第1章解释了如何以单点模式以及集群模式安装和运行Hadoop。

第2章介绍了一套高级的HDFS操作,在处理大规模数据时,无论是用Hadoop MapReduce还是用非MapReduce用例,这些操作都很有用。

第3章解释了如何改变Hadoop部署的配置和安全性,以及如何调试。

第4章介绍了几种高级的Hadoop MapReduce特性,这些特性将有助于你开发高度定制化的、高效的MapReduce应用程序。

第5章介绍了其他与Hadoop相关的项目,如HBase、Hive和Pig。

第6章解释了如何使用Hadoop来计算基本的统计分析信息。

第7章介绍几种可以与Apache Hadoop协同使用的工具和技术,让你可以进行大规模的搜索和索引。

第8章介绍了如果使用Hadoop实现复杂的算法,如聚类、推荐和关系发现。

第9章解释了如何使用Hadoop和Mahout处理海量文本数据集,以及如何使用Hadoop实现数据预处理和加载操作。

第10章解释了如何使用亚马逊弹性MapReduce(Elastic MapReduce,EMR)和Apache Whirr在云基础设施上部署和执行Hadoop MapReduce、Pig、Hive和HBase计算。

目 录

第1章 搭建Hadoop并在集群中运行
1.1 简介
1.2 在你的机器上安装Hadoop
1.3 写WordCountMapReduce示例程序,打包并使用独立的Hadoop运行它
1.4 给WordCount MapReduce程序增加combiner步骤
1.5 安装HDFS
1.6 使用HDFS监控UI
1.7 HDFS的基本命令行文件操作
1.8 在分布式集群环境中设置Hadoop
1.9 在分布式集群环境中运行WordCount程序
1.10 使用MapReduce监控UI
第2章 HDFS进阶
2.1 简介
2.2 HDFS基准测试
2.3 添加一个新的DataNode
2.4 DataNode下架
2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况
2.6 设置HDFS块大小
2.7 设置文件冗余因子
2.8 使用HDFS的Java API
2.9 使用HDFS的C API(libhdfs)
2.10 挂载HDFS(Fuse-DFS)
2.11 在HDFS中合并文件
第3章 高级Hadoop MapReduce运维
第4章 开发复杂的Hadoop MapReduce应用程序
第5章 Hadoop生态系统
第6章 分析
第7章 搜索和索引
第8章 聚类、推荐和关系发现
第9章 海量文本数据处理
第10章 云端部署——在云上使用Hadoop

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
68 2
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
98 3
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
43 1
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
51 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
89 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
41 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
49 0
|
4月前
|
缓存 分布式计算 算法
优化Hadoop MapReduce性能的最佳实践
【8月更文第28天】Hadoop MapReduce是一个用于处理大规模数据集的软件框架,适用于分布式计算环境。虽然MapReduce框架本身具有很好的可扩展性和容错性,但在某些情况下,任务执行可能会因为各种原因导致性能瓶颈。本文将探讨如何通过调整配置参数和优化算法逻辑来提高MapReduce任务的效率。
550 0
|
6月前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解:HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键,其核心包括HDFS(分布式文件系统)和MapReduce(并行计算框架)。HDFS为大数据存储提供高容错性和高吞吐量,采用主从结构,通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段,适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合,加上YARN的资源管理,构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
227 0
|
数据采集 分布式计算 搜索推荐
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)

相关实验场景

更多