beegfs目前的缺点

简介: beegfs目前的缺点

lustre一直是hpc存储市场的常见选择,但自从DDN收购了lustre的知识产权,因此客户的需求扩展到了其他并行文件系统上,但它们普遍缺少企业级别的可靠性,尽管beegfs在欧美一些高校上得到了比较广泛的应用,但它还是存在不少可靠性的问题。


首先beegfs在不同程度上缺少保护,例如:

  • storage的客户端和服务器在发生内核问题、软件奔溃或者掉电等问题上没有缓存保存,主要的问题是
  • 缓存在客户端本身的数据
  • 缓存在存储服务器上的底层文件系统数据如xfs、zfs、ext4
  • 还有操作系统内核本身在存储服务器的文件系统下缓存的数据

同时beegfs缺少一些常用的分布式文件系统的功能,如:

  • 用户验证功能
  • 快照
  • 加密
  • 备份


可能的解决方法

  • 共享存储集群
  • 使用buddy group
  • 消除客户端和存储服务器的缓存
  • 或者给底层文件系统找一块单独的盘作为日志盘,能够在出现故障后重写日志,这里建议使用soft raid,因为zfs能够提供更好的数据一致性和恢复能力,但同时需要测量zfs对性能的影响。


目录
相关文章
|
存储 缓存 运维
Ceph离线(纯内网)部署
Ceph离线(纯内网)部署
Ceph离线(纯内网)部署
|
Ubuntu Linux RDMA
beegfs客户端编译以支持RDMA
beegfs客户端有些时候需要针对ofed版本进行单独的编译
676 0
|
6月前
|
存储 人工智能 缓存
DeepSeek 3FS解读与源码分析(1):高效训练之道
本文从设计文档和源码,深入对 3FS 在文件系统和 AI workload 方面做一系列的解读。如有错误欢迎指正。
|
6月前
|
存储 人工智能 固态存储
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统
3FS是DeepSeek开源的高性能分布式文件系统,专为AI训练和推理任务设计,提供高达6.6 TiB/s的读取吞吐量,支持强一致性保障和通用文件接口,优化AI工作负载。
1016 2
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统
|
存储 缓存 弹性计算
重新审视 CXL 时代下的分布式内存
从以太网到 RDMA 再到 CXL,标志着互连技术的重大突破。
|
存储 缓存 数据管理
ceph存储 一文看懂目录配额(从入门到进阶,内涵完整流程和源码分析)
在Ceph文件系统(CephFS)中,目录配额是一项功能,它允许管理员限制特定目录下可以使用的存储空间总量和/或文件数量。这项功能对于控制资源消耗和防止个别用户或应用程序过度占用共享存储资源特别有用。
823 1
|
存储 分布式计算 Kubernetes
JuiceFS-开源分布式文件系统入门(一篇就够了)
讲解JuiceFS的一些概念、架构以及实操的案例
7489 0
JuiceFS-开源分布式文件系统入门(一篇就够了)
|
存储 负载均衡 网络协议
|
存储
beegfs高可用模式探讨
beegfs高可用模式探讨
1761 0
beegfs高可用模式探讨
|
前端开发 Shell 网络安全
Ubuntu20.04LTS环境docker+cephadm方式部署Ceph 17.2.5
参照本文档将指导您,如何在Ubuntu20.0.4服务器采用docker+cephadm方式安装 17.2.5版本的Ceph。
1703 0
Ubuntu20.04LTS环境docker+cephadm方式部署Ceph 17.2.5