Lustre是分布式的NFS存储系统,因此具备分布式系统和NFS的特征和约束。
- 作为分布式存储,允许通过扩容实现容量、性能的线性扩展。
- 作为NFS,对客户应用提供POSIX语义支持,并屏蔽存储系统的实现细节。
分布式系统的技术点,比如:
- 分布式计算
- 分布式缓存
- 预热数据
- 老化数据
- 分布式锁
- 分布式事务
- 分布式通信
- RPC
- 接口的注册
- 通信的路由
- API通信超时
- API通信失败时重试
- 消息队列
- 通信模式,即同步、异步。
- 选举策略
- 热点
- 任务系统
- 周期性执行任务
- 单次执行
- 单节点执行任务
- 多节点并发执行
- 多节点串行执行
- 健康检查
- 负载检查
- 状态检查
- 负载均衡
- 集群管理
- 扩容节点
- 缩容节点
- 配额
- QoS
- 非功能
- 性能
- 可靠性
- 故障迁移
- 安全
分布式存储系统的技术点,比如:
- 复制数据
- 副本
- EC
- 数据的一致性
- 不一致的检测
- 重建数据的策略
- WAL即write ahead log
- 热点
- 访问的热点
- 存储的热点
- 自动平衡的策略
- 上层协议,比如NFS、CIFS、SMB、HDFS、FTP、S3等。
- 网络技术,比如
IB
/Ethernet
等。
- 业务网络,存储的应用、存储的客户端与存储系统通信、交换数据。
- 业务管理网络,管理员执行管理操作,接入管理系统。
- 运维管理网络,运维团队下发日常运维操作时,接入管理系统,访问存储集群中各节点。
- 存储网络,存储集群中各节点内部通信。
分布式存储系统与传统的单机存储系统的差别,通过扩容可以快速实现性能的提升,比如:
- 读带宽/写带宽
- 单块盘的读/写带宽存在上限,因此同时操作的盘数量越多,可以快速提升集群的读/写带宽。
- 单机的网络带宽存在上限,分布式存储可通过增加节点数量,实现带宽的线性增长。
- IOPS,单机的文件存储,硬件配置无法扩展和动态配置,因此处理的IOPS受限。对于分布式存储,可以通过增加节点来提升IOPS。对于Lustre而言,可以通过增强MDS节点的硬件配置,或者增加MDS节点的数量,进而提升集群的IOPS指标的表现。