Lustre架构介绍的阅读笔记-HSM

简介: HSM(Hierarchical Storage Management)是数据分级存储管理,根据数据生命周期、访问特性和设备成本,自动在CPU寄存器、缓存、主存、SSD、HDD、光盘、磁带库等不同存储层级间迁移数据。数据热度分为热、温、冷、冰,对应不同成本、性能和容量。迁移策略可基于人工判断或系统自动计算,并确保业务I/O不受影响、数据一致性。访问频率增加时,数据可反向迁移至更高层级。

HMSHierarchical Storage Management,数据的分级存储管理。

存储系统管理数据时,需要依据数据的特点即生命周期、访问热度、访问时延、吞吐量等,综合考虑系统性能、容量、保留策略,充分利用不同的存储设备的特点,自动迁移数据。

现有计算的存储设备,比如:

  • CPU内的寄存器,访问时延低、存储容量低、成本高。
  • CPU内的缓存,访问时延低、存储容量低、成本高。
  • 计算机的主存,相比于比CPU内缓存,访问时延高,存储容量大,成本低。
  • 存储盘
  • SSD,即固态盘,相比于计算机的主存,访问时延接近,存储容量大,成本低一点。
  • HDD,即机械硬盘,相比于SSD,访问时延高,存储容量大,成本低。
  • CD/DVD,即光盘,相比于HDD,访问时延高,存储容量大,成本低,但只能写一次,反复多读次,一般只用于冷数据归档。
  • 磁带库,相比于HDD,访问时延高,存储容量大,成本低,一般只用于冷数据归档。

设计存储系统时,可以依据业务场景以及预算,配置集群的规模,以及数据迁移的策略,充分利用预算,达成业务目标。

数据的分级策略的实现思路,使用不同的存储设备来存储不同访问热度的数据,平衡成本、性能、容量等几方面诉求,实现存储效率最大化。

数据的热度,划分为热、温、冷、冰,对应不同的存储层级。

依据常识,新创建的文件,一般认为是热数据;对于已存在的文件,新写入的数据,也认为是热数据。

受限于热数据存储的容量,在一段时间后,对于访问频率下降的数据,需要依据一定的策略,依次迁移至温存储、冷存储。

对于归档、备份的数据,在可预见的一段时间内,访问频率很低或者没有访问,此时可以迁移至冰存储中。

存储的单位成本,由高至低,依次为热、温、冷、冰。

存储的访问时延,由高至低,依次为热、温、冷、冰。

存储的容量,由小至大,依次为热、温、冷、冰。

分级的迁移操作,可行的实现方案:

  • 人工判断,手工操作。由业务管理员人工判定文件的热度,手动将满足要求的文件迁移至不同的存储层级。
  • 人工判断,自动执行。由业务管理员人工判定文件的热度,给出迁移的判断条件,由存储系统自行执行迁移操作。依据POSIX规范,可用的判断条件,比如:
  • 文件的时间,即crtime/ctime/mtime/atime。
  • 文件的归属用户/用户组。
  • 文件的目录。
  • 文件名,前缀、后缀或者模糊匹配。
  • 指定的文件清单。
  • 存储系统判定,存储系统执行。由存储系统记录各文件的访问操作,依据一定规则计算文件的热度,按照一定周期,自动将文件迁移至不同的存储层级。

分级的迁移操作,可以实现为一次操作,以及周期性操作。对于周期性操作,考虑到任务执行的成本,需要实现对文件系统的增量扫描,降低对存储系统的影响。

迁移操作运行过程中的注意事项:

  • 不能影响存储业务I/O操作的正常运行。
  • 运行时自动调整占用的资源,即当存储系统承载的业务请求压力大时,需要自动降低工作负载或者直接暂停,待业务压力下降时再恢复运行。
  • 记录必要的日志,方便开发团队、运维团队分析、处理业务故障。
  • 文件或者文件的数据在不同的存储层级之间迁移时,需要保证数据的一致性。

对于已分级的数据,当客户应用访问时,应当如何处理?可行的策略如下:

  • 当文件的热度上升时,可以依据一定的策略,反向依次从冰、冷、温、热,迁移数据。
  • 当文件的热度暂时不满足反向迁移的要求,可以考虑在上一层或者热的存储层级中,临时缓存文件,提升文件的访问效率。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
172 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
2月前
|
机器学习/深度学习 人工智能 资源调度
MicroNAS:面向MCU的零样本神经架构搜索——论文阅读
MicroNAS是一种专为微控制器单元(MCU)设计的零样本神经架构搜索(NAS)框架,无需训练即可通过理论驱动的性能指标评估网络架构。相比传统NAS方法,其搜索效率提升高达1104倍,同时兼顾精度与硬件效率,适用于边缘计算场景。该框架结合神经切线核(NTK)条件数、线性区域计数及硬件感知延迟模型,实现快速、高效的架构搜索,为资源受限设备上的AI部署提供了新思路。
180 2
MicroNAS:面向MCU的零样本神经架构搜索——论文阅读
|
2月前
|
机器学习/深度学习 人工智能 vr&ar
H4H:面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构,基于NPU-CIM异构系统,通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络(CNN)的局部特征提取与视觉Transformer(ViT)的全局信息处理能力,提升模型性能与效率。通过两阶段增量训练策略,缓解混合模型训练中的梯度冲突问题,并利用异构计算资源优化推理延迟与能耗。实验表明,H4H在相同准确率下显著降低延迟和功耗,为AR/VR设备上的边缘AI推理提供了高效解决方案。
330 0
|
8月前
|
网络协议 Java 应用服务中间件
框架源码私享笔记(01)Tomcat核心架构功能 | 配置详解
本文首先分享了《活出意义来》一书序言中的感悟,强调成功如同幸福,不是刻意追求就能得到,而是全心投入时的副产品。接着探讨了Tomcat的核心功能与架构解析,包括网络连接器(Connector)和Servlet容器(Container),并介绍了其处理HTTP请求的工作流程。文章还详细解释了Tomcat的server.xml配置文件,涵盖了从顶级容器Server到子组件Connector、Engine、Host、Context等的配置参数及作用,帮助读者理解Tomcat的内部机制和配置方法。
|
12月前
|
前端开发 测试技术 数据处理
Kotlin教程笔记 - MVP与MVVM架构设计的对比
Kotlin教程笔记 - MVP与MVVM架构设计的对比
350 4
|
12月前
|
前端开发 JavaScript 测试技术
Kotlin教程笔记 - 适合构建中大型项目的架构模式全面对比
Kotlin教程笔记 - 适合构建中大型项目的架构模式全面对比
164 3
|
12月前
|
存储 前端开发 Java
Kotlin教程笔记 - MVVM架构怎样避免内存泄漏
Kotlin教程笔记 - MVVM架构怎样避免内存泄漏
158 2
|
10月前
|
Java 网络安全 开发工具
Git进阶笔记系列(01)Git核心架构原理 | 常用命令实战集合
通过本文,读者可以深入了解Git的核心概念和实际操作技巧,提升版本管理能力。
|
XML 前端开发 Android开发
Kotlin教程笔记(80) - MVVM架构设计
Kotlin教程笔记(80) - MVVM架构设计
|
12月前
|
XML 前端开发 Android开发
Kotlin教程笔记(80) - MVVM架构设计
Kotlin教程笔记(80) - MVVM架构设计

热门文章

最新文章