如何加速云原生数据应用?这个开源项目备受关注

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 自2020年9月Fluid正式对外开源,发展短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。

2021 年 9 月 17 日,在由中国信息通信研究院、中国通信标准化协会联合主办的“2021 OSCAR 开源产业大会”上,由阿里云云原生团队联合发起(其他联合单位包括:南京大学、Alluxio 社区)的开源项目 Fluid 荣获“ OSCAR 尖峰开源项目和开源社区”奖项;同时,作为 Fluid 项目的联合发起人和社区运营主席,来自南京大学 PASALab 的顾荣副研究员被评选为“开源人物”。


1.png2.png


Fluid 于 2020 年 9 月正式对外开源。很多熟悉 Fluid 的朋友都知道,该项目的本质是一个云原生数据编排和加速系统,于 2021 年 5 月正式成为 CNCF Sandbox 项目,帮助业界完善在云原生 AI 领域的一块重要版图。


发展不过短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid 的发展背景和实区实践聊表观点。


云原生 + AI,企业数字化创新的循环引擎


今年是十四五的开局之年。2021 年 3 月,新华社全文公布了《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(以下简称“纲要”)。作为未来五年产业发展、科技创新等的重要行动纲领,纲要中有三个关键词格外引人关注:“人工智能”、“云计算”,和首次被列进规划的“开源”。


作为构筑数字经济的基础设施,云计算正像水电煤气一样,渗透至各行各业,用润物细无声来形容也毫不为过。近年来,以容器、微服务、DevOps 为代表的云原生技术,使云端强大的服务能力得到充分释放,加速了基础设施的敏捷化,进一步实现企业生产效能的提升,因为被喻为“企业数字化转型的最短路径”。


作为在信息基础设施上承载的主要资源,“数据”则可以看成是新型基础设施的“血液”。AI 技术与云计算的深度融合趋势, 也进一步对算力和应用架构提出了新要求。


回溯 AI 领域主要技术框架的发展,如 Spark,Hive,MapReduce ,为了减少数据传输,其设计更多地考虑数据本地化架构。但随着技术环境和应用需求的不断更迭,为兼顾资源扩展的灵活性与使用成本,计算和存储分离的架构在云原生环境中逐渐成为主流。这种计算存储分离架构在提升系统弹性和灵活性的同时,也给 AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。


为了解决现有云原生编排框架运行此类应用面临数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点,阿里云云原生团队、南京大学、Alluxio 社区联合发起并开源的云原生数据编排和加速系统 Fluid ,该项目于 2021 年 5 月正式被 CNCF 接纳为 Sandbox 项目,加速数据密集型应用全面拥抱云原生。


3.png


核心功能:


Fluid 在云原生应用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新,其核心功能包括:


  • 提供存储无感知的数据对象-数据集(Dataset):通过自定义资源对象 (Custom Resource Definition)实现对不同存储系统的统一抽象定义与管理,支持可观测性和弹性伸缩。
  • 利用分布式缓存技术加速数据集读写:通过扩展 CacheRuntime 对象,自定义并管理分布式数据缓存引擎。目前已原生支持缓存引擎 Alluxio 和 JindoFS。
  • 基于容器调度的智能数据编排:基于 Kubernetes 容器调度和扩缩容能力,实现数据缓存的智能化编排。
  • 数据集与应用协同调度:扩展 Kubernetes 调度器感知数据集缓存信息,就近调度应用,发挥本地读写缓存的性能优势。
  • 标准访问接口:使用 Kubernetes 标准存储接口 Persistent Volume Claim  访问数据集,实现无缝兼容云原生应用。
  • 面向场景的性能调优:针对深度学习、批量数据处理等任务,提供数据集预热、元数据管理优化、小文件 IO 优化、自动弹性伸缩等手段,普遍提升任务运行效率。


开源成为生产环境下 AI 应用云原生化重要选择


在本次开源产业大会上,信通院云计算与大数据研究所所长何宝宏、中国通信标准化协会常务副秘书长兼副理事长代晓慧等嘉宾发表重点观点,表示开源是软件业新的生产方式,也是一种新的交付方式,这种方式经过二十多年的发展,已经发展成熟。它既可以充分调动个人主观能动性,通过社区协同机制进行思想碰撞,激发技术创新,引领新一代通用技术发展,更构建了新的合作模式,通过代码公开、规则公开、过程公开,营造透明、开放的社区环境,并通过代码检测,自动形成安全前置,有效打消了企业及个人参加的顾虑,建立了信任机制,已成为企业构建信息系统的重要选择。


这些观点在 Fluid 开源社区中也得到了充分的印证。从正式被创立之日起,共建 Fluid 的各方就致力于通过结合学术界的原创研究和工业界的落地实践能力,加速云原生基础设施拥抱数据密集型应用,并且秉持开源精神与社区一同推动 Kubernetes 平台应用使用和管理数据的统一界面的构建和使用。


正式开源来的短短在一年时间里,Fluid 借助社区的力量迅速发展,得到来自中国电信、微博、Boss 直聘、第四范式、云知声等众多企业的专家和工程师的关注,并贡献了大量的开发工作,包括微博、中国电信、毫末智行等多家大型知名 IT 和互联网企业都成功将Fluid 应用于生产环境下数据密集型应用的开发与部署,大大提升了资源利用效率和应用性能。


4.png


Fluid 的开源实践,不仅得到了来自各界的认可,也为企业在云上以原生的方式创新数据密集型应用开发和部署,加速数据的流通、汇集、处理和价值挖掘,提升应用生产效率提供了可以信赖的经验和方法。


作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台,Fluid 将向更灵活、智能、可扩展的架构方向发展,不断提升开发者和用户使用体验。未来,Fluid 将继续与社区并肩、与生态同行,致力于推进云原生技术在 AI 等领域的生态建设与普及,与全球开发者一起拓展云原生的边界。


戳链接(https://github.com/fluid-cloudnative/fluid),查看 Fluid 开源项目 github 主页!

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
11天前
|
监控 Java 数据处理
【Spring云原生】Spring Batch:海量数据高并发任务处理!数据处理纵享新丝滑!事务管理机制+并行处理+实例应用讲解
【Spring云原生】Spring Batch:海量数据高并发任务处理!数据处理纵享新丝滑!事务管理机制+并行处理+实例应用讲解
|
2月前
|
Cloud Native NoSQL Redis
云原生 Docker Dockerfile 构建应用
【1月更文挑战第9天】云原生 Docker Dockerfile 构建应用
|
3天前
|
Cloud Native Java 开发者
Spring Boot 4.0:构建云原生Java应用的前沿工具
Spring Boot 4.0:构建云原生Java应用的前沿工具
|
5天前
|
Cloud Native Java Nacos
|
11天前
|
Cloud Native Java Docker
【Spring云原生】Spring官宣,干掉原生JVM,推出 Spring Native!整体提升性能!Native镜像技术在Spring中的应用
【Spring云原生】Spring官宣,干掉原生JVM,推出 Spring Native!整体提升性能!Native镜像技术在Spring中的应用
|
2月前
|
运维 Cloud Native 架构师
云原生:理论与实际应用
云原生:理论与实际应用
36 0
|
2月前
|
人工智能 Cloud Native 算法
应用从云原生走向AI原生,软件可望“以天为单位”开发
【1月更文挑战第8天】应用从云原生走向AI原生,软件可望“以天为单位”开发
33 2
应用从云原生走向AI原生,软件可望“以天为单位”开发
|
2月前
|
存储 人工智能 运维
【云原生企业级数据湖:打破数据孤岛,优化存储成本】
【云原生企业级数据湖:打破数据孤岛,优化存储成本】 随着大数据时代的到来,企业对于数据的处理和存储需求日益增长。如何有效地存储和管理大量数据,同时降低运维成本,成为了企业面临的一大挑战。盛通教育的云原生企业级数据湖方案,正是为了解决这一问题而设计的。
158 1
|
3月前
|
Kubernetes 关系型数据库 MySQL
云原生|kubernetes|静态pod和静态pod的应用
云原生|kubernetes|静态pod和静态pod的应用
26 0
|
3月前
|
Kubernetes 应用服务中间件 nginx
云原生|kubernetes|ingress-nginx插件部署以及简单的应用(修订版---适用于kubernetes-1.18-1.21)
云原生|kubernetes|ingress-nginx插件部署以及简单的应用(修订版---适用于kubernetes-1.18-1.21)
71 0

相关产品

  • 云消息队列 MQ
  • 微服务引擎
  • 云消息队列 Kafka 版