AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

HDFS伪分布式环境搭建（下）

2021-12-29 197
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： HDFS伪分布式环境搭建

HDFS伪分布式环境搭建

image.png

官网指南

1.png

先启动 HDFS

image.png

image.png

image.png

1.png

image.png

image.png

创建文件夹

image.png

多层次文件夹

image.png

遍历所有文件夹

image.png

image.png

image.png

image.png

删除文件/文件夹

image.png

image.png

1.png

Java 操作 HDFS 开发环境搭建

1.png

1.png

1.png

1.png

1.png

1.png

JavaAPI 操作 HDFS文件系统

1.png

image.png

image.png

  • 测试创建文件方法

1.png

image.png

  • 查看 HDFS 文件的内容

image.png

image.png

  • 上传文件到 HDFS

image.png

  • 上传文件到 HDFS(带进度条)

image.png

image.png

image.png

  • 下载文件到本地

image.png

image.png

1.png

  • 查看某个目录下的所有文件

image.png

image.png

image.png

  • 删除文件/文件夹

image.png

image.png

image.png

文章标签：
Java
测试技术
关键词：
文件存储HDFS版伪分布式环境搭建
文件存储HDFS版伪分布
javaedge
目录
相关文章
javaedge
|
分布式计算 Hadoop Java
HDFS伪分布式环境搭建（中）
HDFS伪分布式环境搭建
javaedge
146 0
HDFS伪分布式环境搭建（中）
javaedge
|
存储 机器学习/深度学习 分布式计算
HDFS伪分布式环境搭建（上）
HDFS伪分布式环境搭建
javaedge
191 0
HDFS伪分布式环境搭建（上）
MySQL技术
|
分布式计算 Hadoop Java
Hadoop伪分布式部署(HDFS)
今天来讲Hadoop伪分布式部署(HDFS)
MySQL技术
173 0
王小雷
|
存储 分布式计算 Shell
HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系
HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,
王小雷
2593 0
赵渝强老师
|
8月前
|
XML 存储 分布式计算
【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
HDFS（Hadoop分布式文件系统）由三个核心组件构成：NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求，维护元数据文件fsimage和edits；DataNode存储实际的数据块，默认大小为128MB；SecondaryNameNode定期合并edits日志到fsimage中，但不作为NameNode的热备份。通过这些组件的协同工作，HDFS实现了高效、可靠的大规模数据存储与管理。
赵渝强老师
904 70
武子康
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
武子康
494 6
武子康
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
武子康
206 3
武子康
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
武子康
272 5
武子康
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
武子康
164 4
武子康
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
武子康
466 5

热门文章

最新文章

  • 1
    HDFS文件上传异常分析：put: `test.txt': No such file or directory
  • 2
    sqoop2:从mysql导出数据到hdfs
  • 3
    Flume-NG + HDFS + HIVE 日志收集分析
  • 4
    Hadoop知识点总结——HDFS小文件过多问题、解决方法
  • 5
    数据湖实操讲解【数据迁移】第一讲：高效迁移 HDFS 海量文件到 OSS
  • 6
    数据湖实操讲解【数据迁移】第二讲：数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS
  • 7
    HDFS Federation
  • 8
    HDFS源码分析数据块复制监控线程ReplicationMonitor（二）
  • 9
    通过Loadrunner连接操作Hadoop HDFS
  • 10
    HDFS源码分析心跳汇报之DataNode注册
  • 1
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    904
  • 2
    ClickHouse如何整合数据源：MySQL、HDFS...
    718
  • 3
    java实现从HDFS上下载文件及文件夹的功能，以流形式输出，便于用户自定义保存任何路径下
    359
  • 4
    【赵渝强老师】基于RBF的HDFS联邦架构
    312
  • 5
    【赵渝强老师】基于ViewFS的HDFS联邦架构
    254
  • 6
    【赵渝强老师】HDFS数据上传和下载的过程
    328
  • 7
    大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
    252
  • 8
    大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
    494
  • 9
    Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    324
  • 10
    Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    192

    • 相关课程

    更多
  • Hadoop 分布式文件系统 HDFS

    • 相关电子书

    更多
  • 海量数据分布式存储——Apache HDFS之最新进展
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云弹性公网IP线路类型【BGP(多线)_精品】是什么意思？