《Hadoop MapReduce实战手册》一1.2 在你的机器上安装Hadoop

简介:

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章,第1.2节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.2 在你的机器上安装Hadoop
Hadoop MapReduce实战手册
本节讲述如何在本地模式下运行Hadoop。

准备工作
http://www.oracle.com/technetwork/java/javase/downloads/index.html下载并安装Java 1.6或者更高版本。

操作步骤
现在让我们来完成Hadoop的安装。

  1. http://hadoop.apache.org/下载最新的Hadoop 1.0分支发行版。
  2. 使用下列命令解压Hadoop发行版。必须将文件名中的x.x换成你实际下载的版本号。如果你使用的是Windows,可以使用自己喜欢的解压缩工具(如WinZip或者WinRAR)去解压发行包。从现在的情况来看,我们应该把解压后的Hadoop目录叫做HADOOP_HOME。
>tar -zxvf hadoop-1.x.x.tar.gz
  1. 在解压完发行版之后,就可以使用Hadoop的本地模式了。安装也就完成了。现在,你可以通过bin/hadoop命令运行Hadoop作业了,我们将在下一节中详尽阐述。

工作原理
Hadoop本地模式并不启动任何服务进程,而是在同一个JVM中完成所有的工作。当你在Hadoop本地模式中提交一个作业时,这个作业启动一个JVM去运行并完成该作业。作业的输出和行为与分布式的Hadoop作业相同,只是作业只能使用当前的节点运行任务。在1.3节中,我们将探索如何使用解压后的Hadoop发行版去运行一个MapReduce程序。

相关文章
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
285 2
|
11月前
|
数据采集 分布式计算 Hadoop
使用Hadoop MapReduce进行大规模数据爬取
使用Hadoop MapReduce进行大规模数据爬取
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
304 3
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
219 1
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
232 1
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
323 0
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
194 0
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
238 0
|
缓存 分布式计算 算法
优化Hadoop MapReduce性能的最佳实践
【8月更文第28天】Hadoop MapReduce是一个用于处理大规模数据集的软件框架,适用于分布式计算环境。虽然MapReduce框架本身具有很好的可扩展性和容错性,但在某些情况下,任务执行可能会因为各种原因导致性能瓶颈。本文将探讨如何通过调整配置参数和优化算法逻辑来提高MapReduce任务的效率。
1347 0
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
187 1

热门文章

最新文章

相关实验场景

更多