Hadoop学习笔记(三) Hadoop伪分布式

简介: 大数据学习 第一阶段 Hadoop学习

1、配置
配置文件(一): vi etc/hadoop/core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>hdfs:/usr/local/module/hadoop-3.2.2/data/tmp</value>
    </property>

配置文件(二):hadoop-env.sh
Linux系统获取JDK的安装路径并修改
echo $JAVA_HOME
export JAVA_HOME=实际路径

配置文件(三):hdfs-site.xml
HDFS副本数修改为1,默认3

    <name>dfs.replication</name>
    <value>1</value>

2、启动集群
(1)格式化NameNode (第一次启动时格式化,以后不用一直格式化)

bin/hdfs namenode -format

(2)启动NameNode

sbin/hadoop-daemon.sh start namenode

(3) 启动DataNode

sbin/hadoop-daemon.sh start datanode

(4) 关闭NameNode

sbin/hadoop-daemon.sh stop namenode

(5) 关闭DataNode

sbin/hadoop-daemon.sh stop datanode

3、查看集群
jps (意思是java进程)

4、访问后台
ip:50070
重点关注下 Utilities 模块
image.png
创建文件夹 bin/hdfs dfs -mkdir -p 文件夹路径/文件名
移动文件 bin/hdfs dfs -put 当前文件路径 目标文件夹路径
5、测试workcount案例

注意:如果输出数据源文件如果存在,会抛错的!

6、查看日志
日志目录 handoop的安装路径下/logs

相关文章
|
5月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
127 0
|
5月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
94 0
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
96 2
|
5月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
147 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
4月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
174 0
|
5月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
47 2
|
5月前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
59 0
安装hadoop学习笔记
|
5月前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
47 3
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop学习笔记(HDP)-Part.18 安装Flink
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
191 2
Hadoop学习笔记(HDP)-Part.18 安装Flink
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.16 安装HBase
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
118 1
Hadoop学习笔记(HDP)-Part.16 安装HBase

相关实验场景

更多