重磅 | Dragonfly 晋升成为 CNCF 孵化项目

简介: 今天,由云原生计算基金会(CNCF)技术监督委员会投票,Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。

4.10.JPG

今天,由云原生计算基金会(CNCF)技术监督委员会投票,Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。

Dragonfly 是一个由阿里巴巴开源的云原生镜像/文件分发系统,主要解决云原生领域以 Kubernetes 为核心的应用镜像分发问题。2018 年 10月 正式进入 CNCF,成为 CNCF 沙箱级别项目(Sandbox Level Project),开始云原生探索之旅,帮助用户改善 Kubernetes 中镜像/文件分发的体验,从而让企业工程师可以专注于应用程序本身而非基础架构管理。

前往 GitHub 了解 Dragonfly 项目详情:https://github.com/alibaba/Dragonfly

阿里巴巴资深技术专家易立认为“作为阿里巴巴生态系统中容器平台的骨干技术之一,Dragonfly 每年支撑了数十亿次应用服务的部署交付,并被全球许多企业客户使用。阿里巴巴期待不断改进 Dragonfly,使其更加高效和易于使用。”

Dragonfly 的目标是解决云原生场景中的分发问题。该项目由三个主要部分组成:SuperNode 扮演中央调度器角色,控制 peer 之间的所有分发过程; dfget 是 P2P 客户端,主要负责 peer 之间分块的互传;dfdaemon 则扮演代理角色,拦截容器引擎的镜像下载请求并重定向到 dfget 中。

“Dragonfly 通过利用 P2P 技术提升镜像和文件分发的效率,同时减轻镜像仓库的网络负载来改善用户体验,” TOC 成员和项目 Sponsor 梁胜博士说。“随着世界各地的组织将工作负载迁移到容器堆栈上,我们预计 Dragonfly 的采用将继续显着增加。”

目前,Dragonfly 与其他 CNCF 项目进行了集成,包括 Prometheus,containerd,Harbor,Kubernetes 和 Helm。项目 Maintainer 来自阿里巴巴,ByteDance,eBay 和美图,项目 Contributor 来自包括网易、京东、沃尔玛、VMware、Shopee、中国移动、Qunar、中兴、七牛、NVidia 等在内的 20 多家公司。

Dragonfly 主要特性

  • 基于 P2P 的文件分发:使用 P2P 技术进行文件传输,Dragonfly 可以充分利用每个 peer 的带宽资源来提高下载效率,节省了大量的 IDC 带宽,尤其是昂贵的跨地区、跨国际带宽;
  • 对各种容器技术的无侵入支持:Dragonfly 可以无缝地支持各种容器来分发镜像,如Docker、containerd 等;
  • 主机级别速度限制:很多下载工具(wget / curl)仅具有当前下载任务的速率限制,但是 Dragonfly 提供整个主机的速率限制;
  • Passive CDN:被动式 CDN 机制可以避免重复的远程下载。

重要里程碑

  • Maintainer 来自 4 个组织的 7 个项目
  • 67 位贡献者
  • 21 个贡献组织
  • 4.6k + GitHub Stars
  • 10万+ Docker Hub 下载量
  • 去年 commit 数量增加 120%

自加入 CNCF Sandbox 以来,Dragonfly 经历了重要的旅程,变得更“云原生”。

  • 为使开发人员更友好并更易于集成到 CNCF 中,Dragonfly 通过 Golang 进行了重构;
  • Dragonfly 积极地与 Kubernetes,Harbor,containerd,Prometheus,Helm 等集成;
  • 在 CNCF 的帮助下,Dragonfly 努力帮助整个行业采用云原生分发。

CNCF CTO / COO Chris Aniszczyk 表示 “随着云原生应用的持续增长,在大规模生产环境中分发容器镜像已成为要解决的重要挑战,我们很高兴 Dragonfly 分享了在阿里巴巴的实践经验,Dragonfly 项目最近在 Golang 中进行了完全改写,取得了长足的进步,我们期待培养更多这样项目和让项目更具多样性”。

最新版本 Dragonfly 1.0.0 已全部用 Golang 重写,以提高与其他云原生技术的易用性。现在,Dragonfly 带来了更加灵活和可扩展的体系结构,更多的云方案以及与 OCI(开放容器计划)的潜在集成,以使镜像分发更加高效。

阿里巴巴高级技术专家、 Dragonfly 项目 Maintainer 孙宏亮表示:“我们很高兴 Dragonfly 成为孵化项目,Maintainer 一直在努力推进项目各个方面的改善,我们期待看到 Dragonfly 的更多可能性。”

Dragonfly 的落地实践

自加入 CNCF 沙箱以来,Dragonfly 在包括电子商务,电信,金融,互联网等在内的各个行业中迅速发展。 用户包括阿里巴巴,中国移动,Shopee,Bilibili,蚂蚁金服,虎牙,滴滴,iFLYTEK 等组织。

中国移动浙江分公司在生产环境中采用 Dragonfly 已有 3 年以上的历史,涉及超过  1000 台物理计算机。目前在 Dragonfly 上运行 200 多个业务系统和 1,700 多个应用程序模块。

Shopee 是总部位于 Sea Group 下的新加坡电子商务平台。由于将业务范围扩展到马来西亚,泰国,台湾,印度尼西亚,越南和菲律宾,它为客户提供了一种简单,安全和快速的在线购物方式。 Shopee 在生产环境中采用Dragonfly 已有 1 年以上的历史,涉及 10K+ 台物理机器。

国内视频弹幕网站 Bilibili 已在超过 3900 台机器的测试和生产环境中采用了 Dragonfly。来自 Bilibili 的工程师在注册表验证,稳定性等方面与 Dragonfly 社区合作并做出了积极贡献。

阿里云容器镜像服务企业版( ACR EE)是国内领先的云原生应用资产管理平台,支持 Docker/OCI 镜像, Helm Chart 等制品的安全管理及高效分发,被众多行业 Top 企业大规模使用。ACR EE 结合 Dragonfly 的大规模镜像分发能力,保障客户容器业务的快速扩展和极速部署。ACR 团队也结合企业云原生场景和云端环境,和社区共同推动和促进 Dragonfly 持续优化。

未来可期

未来,Dragonfly 将巩固文件/镜像分发,朝着更灵活和可扩展的体系结构方向发展;此外,Dragonfly 社区将深度与 Linux Foundation OCI(开放容器标准)展开合作,建设更高效的镜像分发能力:

  • 基于行业场景,积极探索技术创新:1. 基于机器学习算法,支持更智能 P2P 调度能力,进一步分发效率;2. 加强数据传输过程中的安全性、完整性以及传输效率;3. 基于云原生基础设施,插件化与场景化,灵活适应裸金属、云服务器、IoT等多领域;
  • 协同OCI社区,打造并制定镜像/文件在云原生领域的分发标准,开放“数据分发接口”提供“被集成”能力。

附:CNCF Blog

云原生网络研讨会邀您参加

点击立即预约直播

416直播海报.png

阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
存储 Dragonfly 缓存
Nydus:开源的下一代容器镜像加速服务
让更多的容器用户能够体验到容器快速启动和安全加载方面的能力。
8408 0
Nydus:开源的下一代容器镜像加速服务
|
Dragonfly 缓存 Kubernetes
Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像
Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像
Dragonfly 在 Kubernetes 多集群环境下分发文件和镜像
|
SQL 存储 算法
TPCC测试究竟意味着什么
最近分布式数据库领域可谓非常之火(也可能是非常之卷),特别的,很多人会关注TPCC的测试结果,也有不少产品会投入很多精力在TPCC的优化上。 我们首先需要搞明白的是,我们从TPCC的测试结果,究竟能得出对这个分布式数据库什么样的评价。
4778 3
|
Kubernetes 安全 异构计算
K8S 部署 Deepseek 要 3 天?别逗了!Ollama+GPU Operator 1 小时搞定
最近一年我都在依赖大模型辅助工作,比如 DeepSeek、豆包、Qwen等等。线上大模型确实方便,敲几个字就能生成文案、写代码、做表格,极大提高了效率。但对于企业来说:公司内部数据敏感、使用外部大模型会有数据泄露的风险。
K8S 部署 Deepseek 要 3 天?别逗了!Ollama+GPU Operator 1 小时搞定
|
7月前
阿里云服务器带宽收费价格解析:1M、3M、5M、10M带宽价格参考
阿里云服务器1M、3M、5M、10M宽带需要多少钱?单说阿里云服务器宽带多少钱,而不确定云服务器实例规格及cpu和内存配置的话,是没办法具体说多少钱的,因为云服务器的价格受很多因素影响。本文将详细解析阿里云服务器在1M、3M、5M、10M不同带宽下的价格差异,以供您参考和选择。
2683 3
|
存储 Dragonfly 调度
Dragonfly是什么
Dragonfly是什么
1519 4
|
机器学习/深度学习 自然语言处理 机器人
深度剖析模型微调与RAG技术的完美融合:从理论到实践,带你全面了解如何利用RAG提升特定领域任务性能并附带代码示例
【10月更文挑战第2天】随着深度学习的发展,预训练模型因通用表示能力和高效性备受关注。模型微调通过在已训练模型基础上进行再训练,使其适应特定任务或数据集,提升性能。RAG(Retrieval-Augmented Generation)结合检索与生成技术,在生成响应前检索相关信息,特别适用于需要背景知识的任务。本文通过构建医学问答机器人的示例,展示如何初始化RAG模型并利用实际数据集进行微调,从而提升生成答案的准确性和可信度。
1055 4
|
Dragonfly Kubernetes 调度
P2P镜像分发:Harbor+Dragonfly优化k8s集群镜像拉取速度(二)
本篇文章则分享在大规模的kubernetes集群中,通过Harbor与Dragonfly来优化镜像的拉取速度。
2973 0
|
消息中间件 设计模式 监控
中间件发布订阅事件驱动架构
【7月更文挑战第2天】
546 1