如何加速云原生数据应用?这个开源项目备受关注

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
性能测试 PTS,5000VUM额度
简介: 自2020年9月Fluid正式对外开源,发展短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。

2021 年 9 月 17 日,在由中国信息通信研究院、中国通信标准化协会联合主办的“2021 OSCAR 开源产业大会”上,由阿里云云原生团队联合发起(其他联合单位包括:南京大学、Alluxio 社区)的开源项目 Fluid 荣获“ OSCAR 尖峰开源项目和开源社区”奖项;同时,作为 Fluid 项目的联合发起人和社区运营主席,来自南京大学 PASALab 的顾荣副研究员被评选为“开源人物”。


1.png2.png


Fluid 于 2020 年 9 月正式对外开源。很多熟悉 Fluid 的朋友都知道,该项目的本质是一个云原生数据编排和加速系统,于 2021 年 5 月正式成为 CNCF Sandbox 项目,帮助业界完善在云原生 AI 领域的一块重要版图。


发展不过短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。


云原生 + AI,企业数字化创新的循环引擎


今年是十四五的开局之年。2021 年 3 月,新华社全文公布了《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(以下简称“纲要”)。作为未来五年产业发展、科技创新等的重要行动纲领,纲要中有三个关键词格外引人关注:“人工智能”、“云计算”,和首次被列进规划的“开源”。


作为构筑数字经济的基础设施,云计算正像水电煤气一样,渗透至各行各业,用润物细无声来形容也毫不为过。近年来,以容器、微服务、DevOps 为代表的云原生技术,使云端强大的服务能力得到充分释放,加速了基础设施的敏捷化,进一步实现企业生产效能的提升,因为被喻为“企业数字化转型的最短路径”。


作为在信息基础设施上承载的主要资源,“数据”则可以看成是新型基础设施的“血液”。AI 技术与云计算的深度融合趋势, 也进一步对算力和应用架构提出了新要求。


回溯 AI 领域主要技术框架的发展,如 Spark,Hive,MapReduce ,为了减少数据传输,其设计更多地考虑数据本地化架构。但随着技术环境和应用需求的不断更迭,为兼顾资源扩展的灵活性与使用成本,计算和存储分离的架构在云原生环境中逐渐成为主流。这种计算存储分离架构在提升系统弹性和灵活性的同时,也给 AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。


为了解决现有云原生编排框架运行此类应用面临数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点,阿里云云原生团队、南京大学、Alluxio 社区联合发起并开源的云原生数据编排和加速系统 Fluid ,该项目于 2021 年 5 月正式被 CNCF 接纳为 Sandbox 项目,加速数据密集型应用全面拥抱云原生。


3.png


核心功能:


Fluid 在云原生应用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新,其核心功能包括:


  • 提供存储无感知的数据对象-数据集(Dataset):通过自定义资源对象 (Custom Resource Definition)实现对不同存储系统的统一抽象定义与管理,支持可观测性和弹性伸缩。
  • 利用分布式缓存技术加速数据集读写:通过扩展 CacheRuntime 对象,自定义并管理分布式数据缓存引擎。目前已原生支持缓存引擎 Alluxio 和 JindoFS。
  • 基于容器调度的智能数据编排:基于 Kubernetes 容器调度和扩缩容能力,实现数据缓存的智能化编排。
  • 数据集与应用协同调度:扩展 Kubernetes 调度器感知数据集缓存信息,就近调度应用,发挥本地读写缓存的性能优势。
  • 标准访问接口:使用 Kubernetes 标准存储接口 Persistent Volume Claim  访问数据集,实现无缝兼容云原生应用。
  • 面向场景的性能调优:针对深度学习、批量数据处理等任务,提供数据集预热、元数据管理优化、小文件 IO 优化、自动弹性伸缩等手段,普遍提升任务运行效率。


开源成为生产环境下 AI 应用云原生化重要选择


在本次开源产业大会上,信通院云计算与大数据研究所所长何宝宏、中国通信标准化协会常务副秘书长兼副理事长代晓慧等嘉宾发表重点观点,表示开源是软件业新的生产方式,也是一种新的交付方式,这种方式经过二十多年的发展,已经发展成熟。它既可以充分调动个人主观能动性,通过社区协同机制进行思想碰撞,激发技术创新,引领新一代通用技术发展,更构建了新的合作模式,通过代码公开、规则公开、过程公开,营造透明、开放的社区环境,并通过代码检测,自动形成安全前置,有效打消了企业及个人参加的顾虑,建立了信任机制,已成为企业构建信息系统的重要选择。


这些观点在 Fluid 开源社区中也得到了充分的印证。从正式被创立之日起,共建 Fluid 的各方就致力于通过结合学术界的原创研究和工业界的落地实践能力,加速云原生基础设施拥抱数据密集型应用,并且秉持开源精神与社区一同推动 Kubernetes 平台应用使用和管理数据的统一界面的构建和使用。


正式开源来的短短在一年时间里,Fluid 借助社区的力量迅速发展,得到来自中国电信、微博、Boss 直聘、第四范式、云知声等众多企业的专家和工程师的关注,并贡献了大量的开发工作,包括微博、中国电信、毫末智行等多家大型知名 IT 和互联网企业都成功将Fluid 应用于生产环境下数据密集型应用的开发与部署,大大提升了资源利用效率和应用性能。


4.png


Fluid 的开源实践,不仅得到了来自各界的认可,也为企业在云上以原生的方式创新数据密集型应用开发和部署,加速数据的流通、汇集、处理和价值挖掘,提升应用生产效率提供了可以信赖的经验和方法。


作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台,Fluid 将向更灵活、智能、可扩展的架构方向发展,不断提升开发者和用户使用体验。未来,Fluid 将继续与社区并肩、与生态同行,致力于推进云原生技术在 AI 等领域的生态建设与普及,与全球开发者一起拓展云原生的边界。


戳链接(https://github.com/fluid-cloudnative/fluid),查看 Fluid 开源项目 github 主页!

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
25天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
2月前
|
Cloud Native 安全 物联网
云原生技术在现代软件开发中的应用与挑战####
云原生,这一词汇如同一股强劲的科技风暴,席卷了整个信息技术领域,它不仅重塑了软件的开发模式,还引领了一场关于效率、可扩展性和弹性的深刻变革。本文旨在深入探讨云原生技术的核心概念,分析其在现代软件开发中的广泛应用,并直面伴随其发展而来的挑战,为读者勾勒出一幅既充满机遇又不乏考验的云原生技术图景。 ####
|
9天前
|
监控 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
本文将深入探讨云原生技术如何改变现代企业的运作模式,提升业务灵活性和创新能力。通过实际案例分析,我们将揭示云原生架构的关键要素、实施步骤以及面临的挑战,为读者提供一套清晰的云原生转型指南。
|
16天前
|
Kubernetes Cloud Native 持续交付
云原生技术在现代软件开发中的应用与挑战
【10月更文挑战第37天】随着云计算技术的不断演进,云原生技术已经成为推动软件开发现代化的重要力量。本文将深入探讨云原生技术的核心概念、优势以及面临的挑战,并通过一个实际的代码示例,展示如何在云原生环境中部署一个简单的应用。我们将从云原生的基础架构出发,逐步引导读者理解其在现代软件开发中的关键作用。
28 1
|
29天前
|
敏捷开发 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
【10月更文挑战第23天】本文将深入探讨云原生技术在现代企业中的广泛应用,并结合具体案例分析其对企业数字化转型的推动作用。我们将从云原生技术的基本原理出发,逐步揭示其在提高业务敏捷性、降低成本和增强系统可靠性方面的优势。同时,文章还将分享一系列成功实施云原生技术的企业案例,为读者提供实践中的参考和启示。最后,我们将讨论云原生技术面临的挑战及未来的发展趋势,为企业在这一领域的进一步探索提供指导。
|
1月前
|
Cloud Native 持续交付 云计算
云原生技术深度探索:构建现代化应用的基石####
【10月更文挑战第21天】 本文将深入探讨云原生技术的核心概念、关键技术及其在现代软件开发中的应用。我们将从容器化、微服务架构、持续集成/持续部署(CI/CD)、无服务器架构等关键方面展开,揭示这些技术如何共同作用,帮助企业实现高效、弹性且易于维护的应用部署与管理。通过实例分析,展现云原生技术在实际项目中的显著优势,为读者提供一套全面理解并应用云原生技术的指南。 ####
34 2
|
2月前
|
运维 Cloud Native 持续交付
云原生技术在现代IT架构中的深度应用与挑战####
【10月更文挑战第17天】 本文深入剖析了云原生技术的精髓,探讨其在现代IT架构转型中的核心作用与面临的挑战。云原生不仅是一种技术实现,更是企业数字化转型的重要推手,通过容器化、微服务、持续集成/持续部署(CI/CD)等关键要素,重塑软件开发、部署与运维模式。文章首先概述了云原生的基本原则与核心组件,随后分析了其如何促进企业敏捷性、可扩展性和资源利用率的提升,同时也指出了在安全性、复杂性管理及人才技能匹配等方面存在的挑战,并提出了相应的对策建议。 ####
68 6
|
2月前
|
运维 监控 Cloud Native
云原生技术在现代企业中的应用与挑战####
【10月更文挑战第15天】 本文深入探讨了云原生技术如何重塑企业的IT架构,并分析了其带来的机遇与面临的挑战。通过案例分析,揭示了云原生技术在提升业务敏捷性、降低运维成本方面的显著优势,同时也指出了在安全性、多云管理等方面的潜在难题,为企业决策者提供了有价值的参考。 ####
27 3
|
25天前
|
Cloud Native 安全 持续交付
云原生技术在现代软件开发中的应用与挑战####
本文深入探讨了云原生技术在现代软件开发中的广泛应用及其面临的主要挑战,旨在为开发者和企业提供实用的指导和策略。云原生技术通过其独特的架构和方法论,极大地提升了软件的可扩展性、弹性和敏捷性。然而,随着技术的不断演进,如何有效应对其在安全性、复杂性和成本控制等方面的挑战,成为了业界关注的焦点。本文将详细阐述云原生技术的核心概念、实际应用案例,并针对当前面临的主要挑战提出相应的解决策略。 ####
|
2月前
|
Cloud Native Devops 云计算
云原生技术:构建现代应用的新基石
【10月更文挑战第12天】 本文深入探讨了云原生技术的核心理念、关键技术和实践方法,揭示了其在现代应用开发和运维中的重要地位。通过分析云原生技术的发展趋势和面临的挑战,本文为读者提供了全面而深入的理解,旨在帮助读者更好地利用云原生技术构建高效、灵活和可扩展的现代应用。
37 0