beegfs目前的缺点

简介: beegfs目前的缺点

lustre一直是hpc存储市场的常见选择,但自从DDN收购了lustre的知识产权,因此客户的需求扩展到了其他并行文件系统上,但它们普遍缺少企业级别的可靠性,尽管beegfs在欧美一些高校上得到了比较广泛的应用,但它还是存在不少可靠性的问题。


首先beegfs在不同程度上缺少保护,例如:

  • storage的客户端和服务器在发生内核问题、软件奔溃或者掉电等问题上没有缓存保存,主要的问题是
  • 缓存在客户端本身的数据
  • 缓存在存储服务器上的底层文件系统数据如xfs、zfs、ext4
  • 还有操作系统内核本身在存储服务器的文件系统下缓存的数据

同时beegfs缺少一些常用的分布式文件系统的功能,如:

  • 用户验证功能
  • 快照
  • 加密
  • 备份


可能的解决方法

  • 共享存储集群
  • 使用buddy group
  • 消除客户端和存储服务器的缓存
  • 或者给底层文件系统找一块单独的盘作为日志盘,能够在出现故障后重写日志,这里建议使用soft raid,因为zfs能够提供更好的数据一致性和恢复能力,但同时需要测量zfs对性能的影响。


目录
打赏
0
0
0
0
5
分享
相关文章
beegfs客户端编译以支持RDMA
beegfs客户端有些时候需要针对ofed版本进行单独的编译
646 0
DeepSeek 3FS解读与源码分析(1):高效训练之道
本文从设计文档和源码,深入对 3FS 在文件系统和 AI workload 方面做一系列的解读。如有错误欢迎指正。
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统
3FS是DeepSeek开源的高性能分布式文件系统,专为AI训练和推理任务设计,提供高达6.6 TiB/s的读取吞吐量,支持强一致性保障和通用文件接口,优化AI工作负载。
841 2
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统
重新审视 CXL 时代下的分布式内存
从以太网到 RDMA 再到 CXL,标志着互连技术的重大突破。
ceph存储 一文看懂目录配额(从入门到进阶,内涵完整流程和源码分析)
在Ceph文件系统(CephFS)中,目录配额是一项功能,它允许管理员限制特定目录下可以使用的存储空间总量和/或文件数量。这项功能对于控制资源消耗和防止个别用户或应用程序过度占用共享存储资源特别有用。
718 1
Grub2启动项的修改和相关操作命令
**GRUB2**是Linux的主要引导加载程序,用于启动时显示菜单。要修改启动项,应编辑`/etc/default/grub`,然后运行`grub-mkconfig -o /boot/grub/grub.cfg`更新配置,最后确保`grub.cfg`只读。若需修复引导问题,可启动到Ubuntu Live CD/DVD,挂载根和boot分区,重新安装GRUB2,并根据需要修复`grub.cfg`或Windows引导项。遵循此指南,能安全管理GRUB2并解决引导问题。
2340 0
beegfs高可用模式探讨
beegfs高可用模式探讨
1738 0
beegfs高可用模式探讨
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问