重磅 | Dragonfly 晋升成为 CNCF 孵化项目

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
容器镜像服务 ACR,镜像仓库100个 不限时长
函数计算FC,每月15万CU 3个月
简介: 今天,由云原生计算基金会(CNCF)技术监督委员会投票,Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。

4.10.JPG

今天,由云原生计算基金会(CNCF)技术监督委员会投票,Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。

Dragonfly 是一个由阿里巴巴开源的云原生镜像/文件分发系统,主要解决云原生领域以 Kubernetes 为核心的应用镜像分发问题。2018 年 10月 正式进入 CNCF,成为 CNCF 沙箱级别项目(Sandbox Level Project),开始云原生探索之旅,帮助用户改善 Kubernetes 中镜像/文件分发的体验,从而让企业工程师可以专注于应用程序本身而非基础架构管理。

前往 GitHub 了解 Dragonfly 项目详情:https://github.com/alibaba/Dragonfly

阿里巴巴资深技术专家易立认为“作为阿里巴巴生态系统中容器平台的骨干技术之一,Dragonfly 每年支撑了数十亿次应用服务的部署交付,并被全球许多企业客户使用。阿里巴巴期待不断改进 Dragonfly,使其更加高效和易于使用。”

Dragonfly 的目标是解决云原生场景中的分发问题。该项目由三个主要部分组成:SuperNode 扮演中央调度器角色,控制 peer 之间的所有分发过程; dfget 是 P2P 客户端,主要负责 peer 之间分块的互传;dfdaemon 则扮演代理角色,拦截容器引擎的镜像下载请求并重定向到 dfget 中。

“Dragonfly 通过利用 P2P 技术提升镜像和文件分发的效率,同时减轻镜像仓库的网络负载来改善用户体验,” TOC 成员和项目 Sponsor 梁胜博士说。“随着世界各地的组织将工作负载迁移到容器堆栈上,我们预计 Dragonfly 的采用将继续显着增加。”

目前,Dragonfly 与其他 CNCF 项目进行了集成,包括 Prometheus,containerd,Harbor,Kubernetes 和 Helm。项目 Maintainer 来自阿里巴巴,ByteDance,eBay 和美图,项目 Contributor 来自包括网易、京东、沃尔玛、VMware、Shopee、中国移动、Qunar、中兴、七牛、NVidia 等在内的 20 多家公司。

Dragonfly 主要特性

  • 基于 P2P 的文件分发:使用 P2P 技术进行文件传输,Dragonfly 可以充分利用每个 peer 的带宽资源来提高下载效率,节省了大量的 IDC 带宽,尤其是昂贵的跨地区、跨国际带宽;
  • 对各种容器技术的无侵入支持:Dragonfly 可以无缝地支持各种容器来分发镜像,如Docker、containerd 等;
  • 主机级别速度限制:很多下载工具(wget / curl)仅具有当前下载任务的速率限制,但是 Dragonfly 提供整个主机的速率限制;
  • Passive CDN:被动式 CDN 机制可以避免重复的远程下载。

重要里程碑

  • Maintainer 来自 4 个组织的 7 个项目
  • 67 位贡献者
  • 21 个贡献组织
  • 4.6k + GitHub Stars
  • 10万+ Docker Hub 下载量
  • 去年 commit 数量增加 120%

自加入 CNCF Sandbox 以来,Dragonfly 经历了重要的旅程,变得更“云原生”。

  • 为使开发人员更友好并更易于集成到 CNCF 中,Dragonfly 通过 Golang 进行了重构;
  • Dragonfly 积极地与 Kubernetes,Harbor,containerd,Prometheus,Helm 等集成;
  • 在 CNCF 的帮助下,Dragonfly 努力帮助整个行业采用云原生分发。

CNCF CTO / COO Chris Aniszczyk 表示 “随着云原生应用的持续增长,在大规模生产环境中分发容器镜像已成为要解决的重要挑战,我们很高兴 Dragonfly 分享了在阿里巴巴的实践经验,Dragonfly 项目最近在 Golang 中进行了完全改写,取得了长足的进步,我们期待培养更多这样项目和让项目更具多样性”。

最新版本 Dragonfly 1.0.0 已全部用 Golang 重写,以提高与其他云原生技术的易用性。现在,Dragonfly 带来了更加灵活和可扩展的体系结构,更多的云方案以及与 OCI(开放容器计划)的潜在集成,以使镜像分发更加高效。

阿里巴巴高级技术专家、 Dragonfly 项目 Maintainer 孙宏亮表示:“我们很高兴 Dragonfly 成为孵化项目,Maintainer 一直在努力推进项目各个方面的改善,我们期待看到 Dragonfly 的更多可能性。”

Dragonfly 的落地实践

自加入 CNCF 沙箱以来,Dragonfly 在包括电子商务,电信,金融,互联网等在内的各个行业中迅速发展。 用户包括阿里巴巴,中国移动,Shopee,Bilibili,蚂蚁金服,虎牙,滴滴,iFLYTEK 等组织。

中国移动浙江分公司在生产环境中采用 Dragonfly 已有 3 年以上的历史,涉及超过  1000 台物理计算机。目前在 Dragonfly 上运行 200 多个业务系统和 1,700 多个应用程序模块。

Shopee 是总部位于 Sea Group 下的新加坡电子商务平台。由于将业务范围扩展到马来西亚,泰国,台湾,印度尼西亚,越南和菲律宾,它为客户提供了一种简单,安全和快速的在线购物方式。 Shopee 在生产环境中采用Dragonfly 已有 1 年以上的历史,涉及 10K+ 台物理机器。

国内视频弹幕网站 Bilibili 已在超过 3900 台机器的测试和生产环境中采用了 Dragonfly。来自 Bilibili 的工程师在注册表验证,稳定性等方面与 Dragonfly 社区合作并做出了积极贡献。

阿里云容器镜像服务企业版( ACR EE)是国内领先的云原生应用资产管理平台,支持 Docker/OCI 镜像, Helm Chart 等制品的安全管理及高效分发,被众多行业 Top 企业大规模使用。ACR EE 结合 Dragonfly 的大规模镜像分发能力,保障客户容器业务的快速扩展和极速部署。ACR 团队也结合企业云原生场景和云端环境,和社区共同推动和促进 Dragonfly 持续优化。

未来可期

未来,Dragonfly 将巩固文件/镜像分发,朝着更灵活和可扩展的体系结构方向发展;此外,Dragonfly 社区将深度与 Linux Foundation OCI(开放容器标准)展开合作,建设更高效的镜像分发能力:

  • 基于行业场景,积极探索技术创新:1. 基于机器学习算法,支持更智能 P2P 调度能力,进一步分发效率;2. 加强数据传输过程中的安全性、完整性以及传输效率;3. 基于云原生基础设施,插件化与场景化,灵活适应裸金属、云服务器、IoT等多领域;
  • 协同OCI社区,打造并制定镜像/文件在云原生领域的分发标准,开放“数据分发接口”提供“被集成”能力。

附:CNCF Blog

云原生网络研讨会邀您参加

点击立即预约直播

416直播海报.png

阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”

相关实践学习
通过容器镜像仓库与容器服务快速部署spring-hello应用
本教程主要讲述如何将本地Java代码程序上传并在云端以容器化的构建、传输和运行。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
运维 Kubernetes Cloud Native
开源项目的演进会遇到哪些“坑”?KubeVela 从发起到晋级 CNCF 孵化的全程回顾
KubeVela 本身也有别于“大厂开源”的惯性模式,它从第一天起就遵循“社区发起、开放治理、国际化运作”的原则,核心理念之一就是“始终以业界的最广泛和最真实场景作为项目演进的指南针”,所以发展路径中一直在倾听社区的声音,以最普遍、最共性的需求为最高优先级。
133 0
开源项目的演进会遇到哪些“坑”?KubeVela 从发起到晋级 CNCF 孵化的全程回顾
|
运维 Kubernetes Cloud Native
「开源人说」| 开源项目的演进会遇到哪些“坑”?KubeVela 从发起到晋级 CNCF 孵化的全程回顾
KubeVela 诞生于 OAM 社区,开源第一天起就遵循“社区发起、开放治理、国际化运作”的原则。 今 年 2 月,KubeVela 经过全体 ToC 投票成功进入 CNCF Incubation,是云原生领域首个晋级孵化的面向应用的交付和管理平台。本文将做一个完整的回顾,梳理项目演进过程中的那些“坑”,希望对整个开源生态的发展有所帮助。
48530 1
「开源人说」| 开源项目的演进会遇到哪些“坑”?KubeVela 从发起到晋级 CNCF 孵化的全程回顾
|
存储 运维 Prometheus
开源项目的演进会遇到哪些“坑”?KubeVela 从创立到 CNCF 孵化的全程回顾
作者: 孙健波(天元)、曾庆国(悦达)2023 年 2 月,KubeVela经过全体 ToC 投票成功进入 CNCF Incubation,是云原生领域首个晋级孵化的面向应用的交付和管理平台。KubeVela 背后的核心理念是 2019 年阿里云和微软联合发布的开放应用模型(OAM),演变至今,KubeVela 通过其可编程可扩展的架构、良好的用户体验,以及大量的生态核心能力,帮助了钉钉、招商银行
开源项目的演进会遇到哪些“坑”?KubeVela 从创立到 CNCF 孵化的全程回顾
|
Cloud Native Java 大数据
恭喜 KubeVela 获得中国开源云联盟 2022 “优秀开源项目”
KubeVela 作为现代化的软件交付平台,云原生时代的“Spring 框架”,在本次评选活动中,荣获“优秀开源项目” ,成为评选出的十三个年度优秀项目之一。
恭喜 KubeVela 获得中国开源云联盟 2022 “优秀开源项目”
|
Prometheus Kubernetes 监控
|
边缘计算 缓存 Kubernetes
OpenYurt 开源之夏开始申请啦
开源之夏—OpenYurt 项目列表公布!感兴趣的小伙伴们快来报名吧~
19839 1
OpenYurt 开源之夏开始申请啦
|
边缘计算 人工智能 Kubernetes
阿里云开源项目 OAM 负责人张磊入选「中国开源先锋 33 人」
2020 年 12 月 23 日,由 SegmentFault 思否发起的第二届“中国技术先锋”年度评选结果揭晓,CNCF 应用交付领域小组 Co-chair、阿里云高级技术专家、OAM 开源项目负责人张磊入选 2020“中国开源先锋 33 人”年度榜单。
阿里云开源项目 OAM 负责人张磊入选「中国开源先锋 33 人」
|
存储 人工智能 Kubernetes
不一样的云原生,蚂蚁集团将在CNCF旗舰会议分享什么?
CNCF 的旗舰会议云原生技术大会 Cloud Native + Open Source Virtual Summit China 2020即将盛大开幕,蚂蚁集团也受邀进行两个云原生主题分享。
不一样的云原生,蚂蚁集团将在CNCF旗舰会议分享什么?
|
分布式计算 Kubernetes Cloud Native
|
Prometheus Kubernetes Cloud Native