【赵渝强老师】Hadoop HDFS的快照

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Hadoop HDFS快照是文件系统或目录在某一时刻的镜像,提供备份机制,适用于防止错误操作、备份数据、测试环境搭建及灾难恢复等场景。通过管理员命令可开启目录快照功能,并使用操作命令创建、删除、重命名快照。文章演示了具体操作步骤,包括创建两个快照并进行对比,展示了如何通过命令行和Web Console查看快照信息。

b384.png

Hadoop HDFS的快照(Snapshot)是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中:


  • 防止用户的错误操作
  • 备份
  • 试验/测试
  • 灾难恢复


视频讲解如下:


由于HDFS的快照功能是针对的目录,因此需要首先使用HDFS的管理员命令开启目录的快照功能,再使用HDFS的操作命令创建目录的快照。

#与快照相关的HDFS管理命令
  [-allowSnapshot <snapshotDir>]
  [-disallowSnapshot <snapshotDir>]
  
#与快照相关的HDFS操作命令
  [-createSnapshot <snapshotDir> [<snapshotName>]]
  [-deleteSnapshot <snapshotDir> <snapshotName>]
  [-renameSnapshot <snapshotDir> <oldName> <newName>]


下面通过具体的步骤来演示如何使用HDFS的快照。

(1)开启/input目录的快照功能。

hdfs dfsadmin -allowSnapshot /input


(2)为/input目录创建第一个快照。

hdfs dfs -createSnapshot /input bk_input_20250817_01

# 在创建HDFS快照的时候,最好遵循一个良好的命名规则。
# 例如,这里创建的快照名称为bk_input_20250817_01,
# 表示在2025年8月17日为input目录创建的第一个快照。


(3)上传一个新的文件到/input目录,如:data1.txt。

hdfs dfs -put data1.txt /input


(4)为/input目录创建第二个快照。

hdfs dfs -createSnapshot /input bk_input_20250817_02


(5)对比/input目录的两个快照。

hdfs snapshotDiff /input bk_input_20250817_01 bk_input_20250817_02

# 输出的信息如下:
Difference between snapshot bk_input_20250817_01 and 
snapshot bk_input_20250817_02 under directory /input:
M .
+ ./data1.txt

# 通过对比快照可以看出第二个快照比第一个快照多了一个文件data1.txt。


(6)通过HDFS的Web Console也可以查看快照的相关信息,如下图所示。

image.png


相关文章
|
数据可视化 索引
elasticsearch head、kibana 安装和使用
elasticsearch head、kibana 安装和使用
343 1
|
4月前
|
机器学习/深度学习 监控 自动驾驶
基于YOLOv8的交通标识及设施识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
本项目基于YOLOv8与PyQt5,打造交通标识及设施智能识别系统。支持图像、视频、摄像头输入,可检测人行横道、限速标志、停车标志和交通信号灯。提供完整源码、数据集、权重文件与训练教程,开箱即用,适合多场景应用。系统具备高精度、实时性强、部署便捷等优势,助力智能交通与自动驾驶发展。
基于YOLOv8的交通标识及设施识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
|
6月前
|
机器学习/深度学习 人工智能 算法
快瞳犬种识别效果图示,120种狗品种精准覆盖
犬种识别技术已从实验室走向大众,基于深度学习的卷积神经网络(CNN)和YOLO系列算法,可高效实现犬种分类与目标检测。本文介绍了快瞳犬种识别的技术原理、训练代码及应用场景,包括宠物管理、遗传疾病研究、公共安全、城市管理及遗失宠物寻找等。通过Python代码加载YOLOv8模型并进行训练,模型能在图像中标注犬种及其边界框,为智慧生活提供技术支持。
|
11月前
|
自动驾驶 安全 机器人
ROS2:从初识到深入,探索机器人操作系统的进化之路
前言 最近开始接触到基于DDS的这个系统,是在稚晖君的机器人项目中了解和认识到。于是便开始自己买书学习起来,感觉挺有意思的,但是只是单纯的看书籍,总会显得枯燥无味,于是自己又开始在网上找了一些视频教程结合书籍一起来看,便让我对ROS系统有了更深的认识和理解。 ROS的发展历程 ROS诞生于2007年的斯坦福大学,这是早期PR2机器人的原型,这个项目很快被一家商业公司Willow Garage看中,类似现在的风险投资一样,他们投了一大笔钱给这群年轻人,PR2机器人在资本的助推下成功诞生。 2010年,随着PR2机器人的发布,其中的软件正式确定了名称,就叫做机器人操作系统,Robot Op
387 14
|
JavaScript BI
基于jeecg-boot集成luckysheet记录
基于jeecg-boot集成luckysheet记录
202 0
|
存储 分布式计算 监控
Spark中广播变量
【8月更文挑战第13天】
492 0
|
机器学习/深度学习 监控 项目管理
『软件工程4』一文了解软件项目管理中的4P
该文章讲述了软件项目管理中的四个关键要素(4P:People、Product、Process、Project)的重要性及如何在实践中应用这些要素来提高项目管理的有效性。
『软件工程4』一文了解软件项目管理中的4P
|
SQL 关系型数据库 C语言
PostgreSQL SQL扩展 ---- C语言函数(三)
可以用C(或者与C兼容,比如C++)语言编写用户自定义函数(User-defined functions)。这些函数被编译到动态可加载目标文件(也称为共享库)中并被守护进程加载到服务中。“C语言函数”与“内部函数”的区别就在于动态加载这个特性,二者的实际编码约定本质上是相同的(因此,标准的内部函数库为用户自定义C语言函数提供了丰富的示例代码)
|
传感器 自动驾驶 安全
自动驾驶中的数据安全和隐私
自动驾驶技术的发展已经改变了我们的出行方式,但伴随着这项技术的普及,数据安全和隐私问题也变得愈发重要。本文将探讨自动驾驶中的数据收集、数据隐私和安全挑战,以及如何保护自动驾驶系统的数据。
652 0
|
SQL 数据库 数据安全/隐私保护
SqlAlchemy 2.0 中文文档(五十)(6)
SqlAlchemy 2.0 中文文档(五十)
294 0