小文件归档案例| 学习笔记

简介: 快速学习小文件归档案例

开发者学堂课程【Hadoop 分布式文件系统 HDFS小文件归档案例】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/93/detail/1472


小文件归档案例

------阿里云开发者学院

 

目录

 小文件归档

 实例操作

 

一、小文件归档

1HDFSb 存储小文件弊端

每个文件均按块存储,每个块的元数据存储在 NameNode 的内存中,因此 HDFS 存储小文件会非常低效一个文件就占128MB)。因为大量的小文件会耗尺 NameNode 中的大部分内存。

但注意,存储小文件所需要的磁品容量和数据块的大小无关。例如一个1MB的文件设置为128MB的块存储,实际使用的是1MB的磁盘空间,而不是128MB。

2解决存储小文件办法之一

HDFSb 存档文件或 HAR 文件,是一个更高效的文件存档工具,它将文件存入 HDFS块,在减少 NameNode 内存使用的同时,允许对文件进行透明的访问。具体说来,HDFS 存档文件对内还是一个一个独立文件对 NameNode 而言却是一个整体,减少了 NameNode 的内存

图片1.png


二、实例操作

1、需要启动 YARN 进程

图片8.png

图片2.png

2、归档文件

把/user/atguigu/input目录里面的所有文件归档成一个叫 inputhar 的归档文件,并把归档后文件存储到/user/atguigu/output路径下。

图片3.png

图片4.png

图片5.png

3、查看归档

图片6.png

4、解归档文件

图片7.png

相关文章
|
存储 SQL Cloud Native
【笔记】用户指南—备份与恢复—备份数据
PolarDB-X支持自动备份及手动备份,方便您恢复历史数据。 本文介绍数据备份的相关功能。
【笔记】用户指南—备份与恢复—备份数据
|
SQL 存储 关系型数据库
数据库学习-数据备份与还原作业示例【带源码】
MySQL数据库 “数据备份与还原 ” 习题示例,包含源码,能建立起对于数据备份与还原 的基本概念
109 0
数据库学习-数据备份与还原作业示例【带源码】
|
Oracle 关系型数据库
Oracle归档目录修改的坑,请留意
Oracle归档目录修改的坑,请留意
138 0
Oracle归档目录修改的坑,请留意
|
关系型数据库 数据库 RDS
阿里云ppas 逻辑备份(导出)、还原 - 导出到本地、从本地导入
标签 PostgreSQL , ppas , enterprisedb , edb 背景 阿里云RDS PPAS是PG的企业版本,兼容PG同时兼容Oracle。 由于ppas做了很多兼容ORACLE的工作,所以元数据与PG社区版本有很大不同,那么用户在使用RDS PPAS时,如果有导出、导入的需求,请使用EDB 的pg_dump, pg_restore,请不要使用pg社区版本的pg_dump与pg_restore导出导入。
1351 0
|
安全 测试技术
安全参考和书安归档
版权声明:License CC BY-NC-SA 4.0 https://blog.csdn.net/wizardforcel/article/details/82588261 《安...
1171 0
|
Oracle 关系型数据库 数据库
[20171115]恢复数据文件块头4补充.txt
[20171115]恢复数据文件块头4补充.txt --// 昨天做了恢复数据文件块头,通过备份文件直接取出文件块头,覆盖原来的数据块,然后修复. --//补充几点: --1.
1028 0
|
Oracle 关系型数据库 数据库管理
[20171115]恢复数据文件块头3补充.txt
[20171115]恢复数据文件块头3补充.txt --// 昨天做了恢复数据文件块头,通过备份文件直接取出文件块头,覆盖原来的数据块,然后修复. --//补充几点: --1.
1121 0
技术文档归档
各种技术文档比较散,找一个地方集中记录,方便下载。
620 0