LeoFS是一个高可靠性，最终一致性的分布式对象存储系统，主要功能如下:
支持多种协议: S3 REST NFS
支持大对象和小对象
内置缓存机制
多数据中心复制
自动运维支持
" >
文章转载自 开源中国社区 [ http://www.oschina.net]
LeoFS —— 高可靠性的分布式对象存储系统
2017-06-06
2894
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
" >
文章转载自 开源中国社区 [ http://www.oschina.net]
目录
相关文章
|
23天前
|
机器学习/深度学习
存储
运维
分布式机器学习系统：设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战，重点分析了数据并行、模型并行等核心训练范式，以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性，旨在提供一套全面的技术解决方案，以应对超大规模模型训练中的计算、存储及通信挑战。
57
4
4
|
1月前
|
存储
运维
负载均衡
构建高可用性GraphRAG系统：分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师，我在构建和维护大规模分布式系统方面有着丰富的经验。最近，我负责了一个基于GraphRAG（Graph Retrieval-Augmented Generation）模型的项目，该模型用于构建一个高可用性的问答系统。在这个过程中，我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统，包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
116
4
4
|
28天前
|
机器学习/深度学习
人工智能
分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后，AI的核心转向大模型发展，训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制，跨多个GPU的分布式训练成为必要，这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务，而NVLink则是一种高速、低延迟的通信技术，用于连接GPU或GPU与其它设备，以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长，分布式并行策略，如数据并行和模型并行，变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理，提高了训练效率。此外，NVLink和NVSwitch技术的持续演进，为GPU间的高效通信提供了更强的支持，推动了大模型训练的快
40
0
0
|
2月前
|
消息中间件
中间件
数据库
NServiceBus：打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件，专为构建分布式应用程序设计，特别适用于企业级服务总线（ESB）。它通过消息队列实现服务间的解耦，提高系统的可扩展性和容错性。在 .NET 生态中，NServiceBus 提供了强大的功能，支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式，各组件可以独立运作，即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息，简化了系统的设计和维护。
67
3
3
|
2月前
|
消息中间件
存储
监控
|
2月前
|
消息中间件
存储
监控
|
2月前
|
存储
开发框架
.NET
|
2月前
|
消息中间件
存储
监控
|
3月前
|
存储
块存储
|
2月前
|
存储
分布式计算
监控
热门文章
最新文章
1
鸿蒙HarmonyOS应用开发 |鸿蒙技术分享HarmonyOS Next 深度解析：分布式能力与跨设备协作实战
2
使用Python实现深度学习模型的分布式训练
3
大厂都在用的分布式事务方案，Seata+RocketMQ带你打破10万QPS瓶颈
4
鸿蒙HarmonyOS应用开发 | 探索 HarmonyOS Next-从开发到实战掌握 HarmonyOS Next 的分布式能力
5
PolarDB 分布式版 V2.0，安全可靠的集中分布式一体化数据库管理软件
6
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
7
分布式读写锁的奥义：上古世代 ZooKeeper 的进击
8
分布式机器学习系统：设计原理、优化策略与实践经验
9
基于Redis海量数据场景分布式ID架构实践
10
关于Redisson分布式锁的用法