Lustre架构介绍的阅读笔记-NFS兼容性

简介: Lustre是分布式NFS系统,融合了分布式系统和NFS特性。它支持线性扩展容量和性能,提供POSIX语义,隐藏复杂存储细节。关键技术涉及分布式计算、缓存、锁、事务、通信(RPC、消息队列、同步/异步模式)、选举、任务调度、健康检查、负载均衡、集群管理和QoS。数据一致性、复制(副本、EC)、热点管理及多种上层协议(如NFS、S3)也是重点。分布式存储通过扩容提升读写带宽和IOPS。

Lustre是分布式的NFS存储系统,因此具备分布式系统和NFS的特征和约束。

  • 作为分布式存储,允许通过扩容实现容量、性能的线性扩展。
  • 作为NFS,对客户应用提供POSIX语义支持,并屏蔽存储系统的实现细节。

分布式系统的技术点,比如:

  • 分布式计算
  • 分布式缓存
  • 预热数据
  • 老化数据
  • 分布式锁
  • 分布式事务
  • 分布式通信
  • RPC
  • 接口的注册
  • 通信的路由
  • API通信超时
  • API通信失败时重试
  • 消息队列
  • 通信模式,即同步、异步。
  • 选举策略
  • 热点
  • 任务系统
  • 周期性执行任务
  • 单次执行
  • 单节点执行任务
  • 多节点并发执行
  • 多节点串行执行
  • 健康检查
  • 负载检查
  • 状态检查
  • 负载均衡
  • 集群管理
  • 扩容节点
  • 缩容节点
  • 配额
  • QoS
  • 非功能
  • 性能
  • 可靠性
  • 故障迁移
  • 安全

分布式存储系统的技术点,比如:

  • 复制数据
  • 副本
  • EC
  • 数据的一致性
  • 不一致的检测
  • 重建数据的策略
  • WAL即write ahead log
  • 热点
  • 访问的热点
  • 存储的热点
  • 自动平衡的策略
  • 上层协议,比如NFS、CIFS、SMB、HDFS、FTP、S3等。
  • 网络技术,比如IB/Ethernet等。
  • 业务网络,存储的应用、存储的客户端与存储系统通信、交换数据。
  • 业务管理网络,管理员执行管理操作,接入管理系统。
  • 运维管理网络,运维团队下发日常运维操作时,接入管理系统,访问存储集群中各节点。
  • 存储网络,存储集群中各节点内部通信。

分布式存储系统与传统的单机存储系统的差别,通过扩容可以快速实现性能的提升,比如:

  • 读带宽/写带宽
  • 单块盘的读/写带宽存在上限,因此同时操作的盘数量越多,可以快速提升集群的读/写带宽。
  • 单机的网络带宽存在上限,分布式存储可通过增加节点数量,实现带宽的线性增长。
  • IOPS,单机的文件存储,硬件配置无法扩展和动态配置,因此处理的IOPS受限。对于分布式存储,可以通过增加节点来提升IOPS。对于Lustre而言,可以通过增强MDS节点的硬件配置,或者增加MDS节点的数量,进而提升集群的IOPS指标的表现。
相关文章
|
20天前
|
设计模式 Java 关系型数据库
【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码解析
本文是“Java学习路线”专栏的导航文章,目标是为Java初学者和初中高级工程师提供一套完整的Java学习路线。
174 37
|
20天前
|
负载均衡 数据库 开发工具
|
20天前
|
Java 数据库 Maven
谷粒商城笔记+踩坑(1)——架构、项目环境搭建、代码生成器
项目介绍、项目环境搭建、docker配置mysql,redis,jdk,maven、人人开源、快速开发、安装nodejs、逆向工程搭建,人人开源代码生成器
谷粒商城笔记+踩坑(1)——架构、项目环境搭建、代码生成器
|
2月前
|
Web App开发 编解码 Linux
FFmpeg开发笔记(四十八)从0开始搭建直播系统的开源软件架构
音视频技术广泛应用于直播系统,涵盖电视、电脑、手机直播等多种形式,并延伸至在线教育、医疗咨询和安全监控等领域。直播系统涉及实时编解码与传输,技术实现较复杂。从用户角度看,直播系统分为来源方和观看方,但在开发者视角下还需加入云平台作为中转。本文提出一套基于全开源软件的直播系统架构,分为三层:开源直播录制软件(如OBS Studio、RTMP Streamer),开源流媒体服务器(如SRS、ZLMediaKit),以及开源音视频播放器(如VLC media player、ExoPlayer)。这些组件共同构成一个高效、灵活且成本低廉的直播解决方案。
70 0
FFmpeg开发笔记(四十八)从0开始搭建直播系统的开源软件架构
|
2月前
|
存储 负载均衡 架构师
架构笔记汇总
架构笔记汇总
66 1
|
3月前
|
存储 缓存 运维
Lustre架构介绍的阅读笔记-HSM
HSM(Hierarchical Storage Management)是数据分级存储管理,根据数据生命周期、访问特性和设备成本,自动在CPU寄存器、缓存、主存、SSD、HDD、光盘、磁带库等不同存储层级间迁移数据。数据热度分为热、温、冷、冰,对应不同成本、性能和容量。迁移策略可基于人工判断或系统自动计算,并确保业务I/O不受影响、数据一致性。访问频率增加时,数据可反向迁移至更高层级。
|
5月前
|
Linux
Linux安装NFS挂载NFS卸载客户端服务端都有
Linux安装NFS挂载NFS卸载客户端服务端都有
124 0
|
5月前
|
Ubuntu 网络协议 Unix
【Linux】新唐NUC977挂载NFS实现网络文件传输
【Linux】新唐NUC977挂载NFS实现网络文件传输
|
5月前
|
Linux Shell Windows
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
348 0
|
5月前
|
存储 监控 网络协议
【Linux】文件服务NFS(Network File System)
【Linux】文件服务NFS(Network File System)
154 0
下一篇
无影云桌面