Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(2)

简介: Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式

2、配置SSH免登陆

ssh-keygen -t rsa

出现让输入就直接回车就行


image.png


将秘钥拷贝到本机

ssh-copy-id -i root@localhost

需要输入【yes】与【root密码】

image.png

ssh验证:

ssh 'root@localhost'


image.png


3、Hadoop安装


伪分布式与分布式模式的区别是:【NameNode】和【DataNode】分别运行在不同的计价器上,【NameNode】负责管理所有的【DataNode】。


配置步骤:


1、上传Hadoop并解压配置【/etc/profile.d/hadoop-eco.sh】文件


2、修改2个【sh】文件,4个【xml】文件


image.png


3、通过【hdfs】启动,通过【start-dfs.sh】【start-yarn.sh】启动6个服务。(jps)查询


NameNode

SecondaryNameNode

NodeManager

DataNode

ResourceManager

Jps

4、demo测试


上传【Hadoop】的压缩包到opt下,并解压



image.png

image.png

tar -zxvf hadoop-2.7.3.tar.gz

image.png


为了操作方便,更换名称:

mv hadoop-2.7.3 hadoop


image.png


继续编辑【vi /etc/profile.d/hadoop-eco.sh】文件:

HADOOP_HOME=/opt/hadoop

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH


image.png


执行脚本:

source /etc/profile.d/hadoop-eco.sh

手动创建工作目录:

mkdir -p /opt/hadoop-record/name
mkdir -p /opt/hadoop-record/secondary
mkdir -p /opt/hadoop-record/data
mkdir -p /opt/hadoop-record/tmp
ls
ls /opt/hadoop-record/

编写配置六个文件:

1、修改【hadoop/etc/hadoop/hadoop-env.sh 】(JAVA_HOME)

vi hadoop/etc/hadoop/hadoop-env.sh


image.png


2、修改【yarn-env.sh】文件

vi hadoop/etc/hadoop/yarn-env.sh

image.png

3、 修改【core-site.xml】文件,在【configuration】节点下添加以下子节点信息

vi hadoop/etc/hadoop/core-site.xml

image.png

添加以下内容,复制的时候注意,先输入【i】再粘贴


<!-- 指定HDFS的通讯地址 -->
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
  </property>
  <!-- 指定Hadoop运行时产生文件的存储位置 -->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>file:///opt/hadoop-record/tmp</value>
  </property>

image.png

4、配置【hadoop/etc/hadoop/hdfs-site.xml】文件

vi hadoop/etc/hadoop/hdfs-site.xml



image.png


在【configuration】节点下添加以下内容:

  <!-- 数据备份数量 -->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///opt/hadoop-record/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///opt/hadoop-record/data</value>
  </property>

image.png

5、配置【hadoop/etc/hadoop/mapred-site.xml.template】文件

由于需要的是xml文件,不是template文件,故而需要修改名称。

mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml

修改成功

image.png


编写:

vi hadoop/etc/hadoop/mapred-site.xml


image.png


输入以下内容:

1.  <!-- mapreduce运行的平台,默认Local -->
2.  <property>
3.    <name>mapreduce.framework.name</name>
4.    <value>yarn</value>
5.  </property>

image.png

相关文章
|
5月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
276 6
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
127 2
|
4月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
102 0
|
5月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
94 2
|
7月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
416 2
|
7月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
70 1
|
7月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
682 0
|
8月前
|
分布式计算 运维 大数据
混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践。
除了资源效率和成本的优势外,混合云模式还为斗鱼带来了可量化的成本、增值服务以及额外的专业服务。阿里云的专业团队可以为斗鱼提供技术咨询和解决方案,帮助斗鱼解决业务难题。此外,计算资源的可量化也使得斗鱼能够清晰地了解资源使用情况,为业务决策提供依据。
|
9月前
|
资源调度 分布式计算 Hadoop
实时计算 Flink版产品使用问题之yarn session模式中启动的任务链接是http IP,想把IP映射为主机hadoop,该怎么操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
116 4

相关实验场景

更多