网易开源的分布式存储系统 Curve 正式成为 CNCF 沙箱项目

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: Curve 项目的发展离不开每一位社区参与者的付出。在此真诚地感谢每一位社区贡献者及用户的信任、支持和帮助,也特别感谢 CNCF 同仁尤其是 Storage TAG 对项目发展的指导和支持。欢迎更多开发者和用户参与 Curve 社区建设,如有任何意见和建议,皆可给项目提交 issue。

2022 年 6 月 15 日,云原生计算基金会 (CNCF) 宣布,分布式存储系统 Curve 被正式接纳为 CNCF 沙箱(Sandbox)项目。Curve 由网易开源,是一款高性能、易运维、云原生的分布式存储系统,可应用于主流的云原生基础设施平台:对接 OpenStack 平台为云主机提供高性能块存储服务;对接 Kubernetes 为其提供 RWO、RWX 等类型的持久化存储卷;对接 PolarFS 作为云原生数据库的高性能存储底座,完美支持云原生数据库的存算分离架构。Curve 亦可作为云存储中间件使用 S3 兼容的对象存储作为数据存储引擎,为公有云用户提供高性价比的共享文件存储。

image.png

项目地址:https://github.com/opencurve/curve

Curve 进入 CNCF 沙箱,意味着全球顶级开源基金会对网易云原生存储技术演进的认可,也验证了网易在数字化基础软件领域的深厚积累,及对未来技术趋势的深刻洞察。通过进入 CNCF 沙箱,Curve 社区将更多吸引更多开发者和用户参与共建,进一步推动项目在云原生业务场景的成熟应用,从而深化云原生技术落地实践。

Curve 项目特色

Curve 的研发萌芽于开源 Ceph 存储系统难以满足网易业务发展的朴素需求,成长于云原生在各业务快速落地的契机。回顾 2018 年,网易已完成电商业务全面容器化,开始采用 Kubernetes + Operator 运行有状态应用,云原生存储基础设施的完善也被提上日程。

即便从当前 CNCF Landscape 来看,云原生存储项目依然远不及计算侧和网络侧丰富,开源项目更是稀缺(图中白底部分),如果再加上稳定、高性能、公有云私有云均可使用的灵活弹性、简单易运维这些云原生场景下对存储系统的基础要求,则市面上基本没有合适的系统可供选择。这是 Curve 得以健康发展的外在驱动力。

image.png

得益于 Raft 一致性协议及创新架构的技术路线,目前,无论采用 SATA SSD 块存储,还是 NVMe 块存储,Curve 的随机读写、延迟性能都远优于老牌开源存储系统 Ceph,异常状态下的性能稳定性同样有接近一倍半关系的领先程度。

image.png

image.png

和另外一个 CNCF 沙箱项目, 使用 Go 语言编写的基于容器的块存储开源软件 OpenEBS 相比,Curve 同时覆盖块存储和文件存储,更有利于建设统一的数字化基础软件,运维管理成本要求也更低。

Curve 使用场景

Curve 可以应用于各类云原生基础设施平台作为存储底座,如:

对接 OpenStack 平台为云主机提供高性能块存储服务;

对接 Kubernetes 为其提供 RWO、RWX 等类型的持久化存储卷;

作为云存储中间件使用 S3 兼容的对象存储作为数据存储引擎,为公有云用户提供高性价比的共享文件存储;

对接 PolarFS 作为云原生数据库的高性能存储底座,完美支持云原生数据库的存算分离架构。

针对当前国内数字化基础设施自主可控的需求,Curve 也做了诸多针对性的适配工作,目前,Curve 完全支持国产鲲鹏 CPU + 麒麟系统,软件架构能充分利用并发挥国产 CPU 和硬件以及操作系统的性能。此外,Curve 系统本身核心模块和数据结构以及数据通讯协议系国内自主设计与开发,自主研发代码 20 多万行,测试代码的覆盖率也达到 80%。

Curve 社区进展

Curve 于 2020 年正式开源,至今一年多的时间里发布 3 个大版本,完成了超过 2500 个 commits 提交,GitHub 上 Star 数超过 1100 个,除网易内部用户,网易云音乐、网易严选、网易有道、网易传媒、网易灵犀、网易云信等,还吸引了等超聚变技术有限公司、思谋科技、创云融达等十多家企业使用。

2022 年 3 月 ,Curve 凭借优异的性能和强大的易运维性,成为阿里云 PolarDB 社区的官方生态合作伙伴,为基于 Shared-Storage 架构的 PolarDB for PostgreSQL 提供分布式共享存储底座,支持数据库负载获得云原生快速弹性扩展的好处。

Curve 未来规划

未来 Curve 将瞄准高性能、易运维、云原生的目标持续演进:

高性能:为云原生数据库、云中间件提供超高性能、超低时延的存储底座,助力存算分离架构落地。同时也可为文件存储提供热数据的高性能存储层,助力高性价比架构落地。

云原生:支持各类云原生应用的存算分离架构,支持部署到私有云、公有云、混合云环境,为云原生应用提供更灵活便捷的存储系统。

易运维:提供更简单、更易用、易排障的运维工具和诊断平台。

致谢

Curve 项目的发展离不开每一位社区参与者的付出。在此真诚地感谢每一位社区贡献者及用户的信任、支持和帮助,也特别感谢 CNCF 同仁尤其是 Storage TAG 对项目发展的指导和支持。欢迎更多开发者和用户参与 Curve 社区建设,如有任何意见和建议,皆可给项目提交 issue。

目录
相关文章
|
6月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
838 34
|
2月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
208 2
|
2月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
119 3
|
4月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
157 1
分布式新闻数据采集系统的同步效率优化实战
|
9月前
|
安全 开发工具 git
git分布式版本控制系统及在码云上创建项目并pull和push
通过本文的介绍,我们详细讲解了Git的基本概念和工作流程,并展示了如何在码云上创建项目及进行pull和push操作。Git作为一种分布式版本控制系统,为开发者提供了强大的工具来管理代码变更和协作开发。希望本文能帮助您更好地理解和使用Git及码云,提高开发效率和代码质量。
383 18
|
9月前
|
安全 开发工具 git
git分布式版本控制系统及在码云上创建项目并pull和push
通过本文的介绍,我们详细讲解了Git的基本概念和工作流程,并展示了如何在码云上创建项目及进行pull和push操作。Git作为一种分布式版本控制系统,为开发者提供了强大的工具来管理代码变更和协作开发。希望本文能帮助您更好地理解和使用Git及码云,提高开发效率和代码质量。
271 16
|
10月前
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
770 7
|
10月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
340 7
|
9月前
|
人工智能 监控 开发者
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
221 0
|
3月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
315 2

热门文章

最新文章