如何加速云原生数据应用?这个开源项目备受关注

本文涉及的产品
可观测监控 Prometheus 版,每月50GB免费额度
注册配置 MSE Nacos/ZooKeeper,182元/月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 自2020年9月Fluid正式对外开源,发展短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。

2021 年 9 月 17 日,在由中国信息通信研究院、中国通信标准化协会联合主办的“2021 OSCAR 开源产业大会”上,由阿里云云原生团队联合发起(其他联合单位包括:南京大学、Alluxio 社区)的开源项目 Fluid 荣获“ OSCAR 尖峰开源项目和开源社区”奖项;同时,作为 Fluid 项目的联合发起人和社区运营主席,来自南京大学 PASALab 的顾荣副研究员被评选为“开源人物”。


1.png2.png


Fluid 于 2020 年 9 月正式对外开源。很多熟悉 Fluid 的朋友都知道,该项目的本质是一个云原生数据编排和加速系统,于 2021 年 5 月正式成为 CNCF Sandbox 项目,帮助业界完善在云原生 AI 领域的一块重要版图。


发展不过短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。


云原生 + AI,企业数字化创新的循环引擎


今年是十四五的开局之年。2021 年 3 月,新华社全文公布了《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(以下简称“纲要”)。作为未来五年产业发展、科技创新等的重要行动纲领,纲要中有三个关键词格外引人关注:“人工智能”、“云计算”,和首次被列进规划的“开源”。


作为构筑数字经济的基础设施,云计算正像水电煤气一样,渗透至各行各业,用润物细无声来形容也毫不为过。近年来,以容器、微服务、DevOps 为代表的云原生技术,使云端强大的服务能力得到充分释放,加速了基础设施的敏捷化,进一步实现企业生产效能的提升,因为被喻为“企业数字化转型的最短路径”。


作为在信息基础设施上承载的主要资源,“数据”则可以看成是新型基础设施的“血液”。AI 技术与云计算的深度融合趋势, 也进一步对算力和应用架构提出了新要求。


回溯 AI 领域主要技术框架的发展,如 Spark,Hive,MapReduce ,为了减少数据传输,其设计更多地考虑数据本地化架构。但随着技术环境和应用需求的不断更迭,为兼顾资源扩展的灵活性与使用成本,计算和存储分离的架构在云原生环境中逐渐成为主流。这种计算存储分离架构在提升系统弹性和灵活性的同时,也给 AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。


为了解决现有云原生编排框架运行此类应用面临数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点,阿里云云原生团队、南京大学、Alluxio 社区联合发起并开源的云原生数据编排和加速系统 Fluid ,该项目于 2021 年 5 月正式被 CNCF 接纳为 Sandbox 项目,加速数据密集型应用全面拥抱云原生。


3.png


核心功能:


Fluid 在云原生应用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新,其核心功能包括:


  • 提供存储无感知的数据对象-数据集(Dataset):通过自定义资源对象 (Custom Resource Definition)实现对不同存储系统的统一抽象定义与管理,支持可观测性和弹性伸缩。
  • 利用分布式缓存技术加速数据集读写:通过扩展 CacheRuntime 对象,自定义并管理分布式数据缓存引擎。目前已原生支持缓存引擎 Alluxio 和 JindoFS。
  • 基于容器调度的智能数据编排:基于 Kubernetes 容器调度和扩缩容能力,实现数据缓存的智能化编排。
  • 数据集与应用协同调度:扩展 Kubernetes 调度器感知数据集缓存信息,就近调度应用,发挥本地读写缓存的性能优势。
  • 标准访问接口:使用 Kubernetes 标准存储接口 Persistent Volume Claim  访问数据集,实现无缝兼容云原生应用。
  • 面向场景的性能调优:针对深度学习、批量数据处理等任务,提供数据集预热、元数据管理优化、小文件 IO 优化、自动弹性伸缩等手段,普遍提升任务运行效率。


开源成为生产环境下 AI 应用云原生化重要选择


在本次开源产业大会上,信通院云计算与大数据研究所所长何宝宏、中国通信标准化协会常务副秘书长兼副理事长代晓慧等嘉宾发表重点观点,表示开源是软件业新的生产方式,也是一种新的交付方式,这种方式经过二十多年的发展,已经发展成熟。它既可以充分调动个人主观能动性,通过社区协同机制进行思想碰撞,激发技术创新,引领新一代通用技术发展,更构建了新的合作模式,通过代码公开、规则公开、过程公开,营造透明、开放的社区环境,并通过代码检测,自动形成安全前置,有效打消了企业及个人参加的顾虑,建立了信任机制,已成为企业构建信息系统的重要选择。


这些观点在 Fluid 开源社区中也得到了充分的印证。从正式被创立之日起,共建 Fluid 的各方就致力于通过结合学术界的原创研究和工业界的落地实践能力,加速云原生基础设施拥抱数据密集型应用,并且秉持开源精神与社区一同推动 Kubernetes 平台应用使用和管理数据的统一界面的构建和使用。


正式开源来的短短在一年时间里,Fluid 借助社区的力量迅速发展,得到来自中国电信、微博、Boss 直聘、第四范式、云知声等众多企业的专家和工程师的关注,并贡献了大量的开发工作,包括微博、中国电信、毫末智行等多家大型知名 IT 和互联网企业都成功将Fluid 应用于生产环境下数据密集型应用的开发与部署,大大提升了资源利用效率和应用性能。


4.png


Fluid 的开源实践,不仅得到了来自各界的认可,也为企业在云上以原生的方式创新数据密集型应用开发和部署,加速数据的流通、汇集、处理和价值挖掘,提升应用生产效率提供了可以信赖的经验和方法。


作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台,Fluid 将向更灵活、智能、可扩展的架构方向发展,不断提升开发者和用户使用体验。未来,Fluid 将继续与社区并肩、与生态同行,致力于推进云原生技术在 AI 等领域的生态建设与普及,与全球开发者一起拓展云原生的边界。


戳链接(https://github.com/fluid-cloudnative/fluid),查看 Fluid 开源项目 github 主页!

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
4月前
|
人工智能 Cloud Native Java
2025 开源之夏开启报名|AI + 云原生,10个开源项目、24个课题任您挑选
“开源之夏”是由中国科学院软件研究所发起的暑期活动,旨在鼓励高校学生参与开源软件开发与维护。活动联合各大开源社区提供项目任务,面向全球年满18周岁的高校学生开放报名。每位学生最多可申请一个项目。阿里云云原生提报了包括Apache Dubbo、RocketMQ、Seata等在内的10个开源项目共24个课题,涵盖技术优化、功能实现及AI应用等领域。活动流程包括选题、申请、开发与结项考核,具体信息可访问官网了解。
1783 32
|
9月前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
206 13
|
9月前
|
运维 Cloud Native 安全
云原生技术在现代企业中的应用与挑战####
本文探讨了云原生技术在现代企业IT架构中的关键作用,分析了其带来的优势和面临的主要挑战。通过实际案例分析,揭示了如何有效应对这些挑战,以实现业务敏捷性和技术创新的平衡。 ####
|
9月前
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
5月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
322 12
|
9月前
|
Kubernetes Cloud Native 物联网
云原生技术在现代软件开发中的应用与挑战####
本文探讨了云原生技术的兴起背景、核心理念及其在现代软件开发中的广泛应用。通过具体案例分析,揭示了云原生架构如何促进企业数字化转型,并指出了在实施过程中面临的主要挑战及应对策略。 ####
|
7月前
|
人工智能 关系型数据库 分布式数据库
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
380 0
|
9月前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
9月前
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
10月前
|
消息中间件 Cloud Native 持续交付
云原生技术在现代企业中的应用与优势###
本文深入探讨了云原生技术在现代企业中的具体应用及其带来的显著优势。随着云计算的普及,云原生作为一种新兴的技术架构,正逐渐成为企业数字化转型的关键驱动力。文章将详细介绍云原生的核心概念、主要技术组件以及在实际业务场景中的成功案例,旨在为读者提供一个全面且实用的参考框架,以便更好地理解和应用云原生技术。 ###