消息队列和应用工具产品体系-云原生技术的未来展望

简介: 消息队列和应用工具产品体系-云原生技术的未来展望

开发者学习笔记【阿里云云原生助理工程师认证(ACA)课程:消息队列和应用工具产品体系-云原生技术的未来展望】

课程地址:https://edu.aliyun.com/course/3112075/lesson/19056


消息队列和应用工具产品体系-云原生技术的未来展望

 

通过申通和完美日记两个具体的案例,我们了解到了云原生应用和其技术架构可以确定的为企业的产业数字化转型提供动力。最后这一小节,我们则主要谈谈对于云原生技术的展望。作为兼具开放性、前瞻性和总结性的话题,我们选择了容器、编程界面和serverless,3个方向进行相关的讨论。

容器技术是云原生的核心之一,也是关键。
image.png

我们主要介绍三个趋势:

趋势一,无处不在的计算,催生新一代的容器实现。针对不同的计算场景,容器运行时会有不同的需求,新的容器运行时的技术层出不穷,分别解决了安全隔离性、执行效率、通用性等不同维度的要求。OCI标准的出现,使不同的技术采用一致的方式进行容器生命周期管理,进一步促进了容器引擎技术的持续创新。
其中我们可以预见以下几个细分方向的未来的趋势,安全容器占比将逐渐增强,提供更强的安全隔离能力,基于软硬一体设计的精密计算机容器开始崭露头角。容器作为新一代的可移植、轻量化、应用虚拟机,在IOT边缘计算、区块链等场景会有着广泛的应用前景趋势。

趋势二,云衍生操作系统开始浮现。cook natives已经成为云时代的操作系统,同传统的系统一样,他们都提供了针对底层计算、存储网络、异构计算设备的资源抽象和安全访问模型,并且可以根据应用需求进行资源调度和编排。随着技术演进和社区的发展,越来越多有状态应用和大数据AI 应用负载开始迁移到cook natives 上。由于计算存储分离具备巨大的灵活性和成本优势,数据服务的云原生化也逐渐成为趋势。总而言之,技术的大一统时代可能会来临,从而带来资源利用率的提升和人力成本的降低。

趋势三,动态、混合、分布式的云环境将成为新常态,上云已是大势所趋,但对于企业客户而言,有些业务出于对数据主权、安全、隐私的考量,会采用混合云架构。一些企业为了满足安全合规、成本优化、提升地域覆盖性和避免云厂商锁定等需求,会选择多个云厂商混合云、多云架构已成为企业上云的新常态。此外,边缘计算将成为企业云战略的重要组成部分,为应用提供更低网络延迟、更高网络带宽和更低网络成本。总之,随着云平台已经成为企业数字化转型的创新平台,一个变化随之而产生,云正在靠近他们。

云远程甚至影响了整个编程的方法论。sidecar 架构彻底改变了应用的运维模型。原本在虚拟机时代和业务进程部署在一起的运维及管控工具都被剥离到独立的容器中进行统一的管理。对于应用来说,仅仅是按需声明,使用运维能力,而能力的实现则称为云平台的职责。

应用生命周期的全面托管,在云容器技术基础上,应用可以进一步清晰地描述自身的状态,量化自身的弹性指标,并通过servermesh 和serverless 技术将流量托管给云平台。云平台将能够全面的管理应用的生命周期,包括服务的上下限版本升级,完善的流量调配、容量管理等,并保障业务的稳定性。
image.png

用声明式的配置方式,使用云服务。云原生应用的核心特点之一就是大量依赖云服务构建,以实现快速交付。而这些服务的配置实际上是应用自身的资产,为了能够让应用无缝的运行在混合云的场景,应用逐渐开始以基础设施及代码的方式使用云服务。正因为如此,相关的产品越来越受到应用开发者的拥抱,语言无关的分布式编程框架成为一种服务。为了解决分布式框架带来的技术挑战。传统中间件需要在客户端SDK编写大量的逻辑、管理分布式的状态。今天我们看到很多项目把这些内容下沉,并通过语言无关的API提供给应用。

这一变化将进一步的简化应用的代码逻辑和应用研发的职责,例如配置的绑定、身份的认证和健全,都可以被统一处理。
近年来,serverless一直在高速的发展,呈现出强大的影响力。在这种趋势下,主流云服务商也在不断的丰富云产品体系,提供更加便捷的开发工具,更高效的应用交付流水线,更完善的可观测性、更丰富的产品间集成。因此serverless也有如下三个发展趋势:

趋势一,serveerless将无处不在。任何足够复杂的技术方案,都可能被实现为全托管serverless化的后端服务,不只是云产品,也包括来自合作伙伴和第三方的服务。事实上,对于任何以API作为功能透出方式的平台型产品或组织,例如钉钉、微信、滴滴等serverless都将成为其平台战略的最重要的部分。

趋势二,serverless将通过事件驱动的方式连接云及其生态中的一切,通过事件驱动和云服务连接,serverless的能力也会扩大到整个云的生态。无论是用户自己的应用,还是合作伙伴的服务,所有的事件都能以serverless的方式来进行处理。云服务及其生态将更加紧密的连接在一起,成为用户构建弹性高可用应用的基石。
image.png

趋势三,serverless技术将持续提高计算密度,实现最佳的性能功耗比和性能价格比。虚拟机和容器是两种取向,不同的虚拟化技术,前者安全性强,开销大,后者则相反。serverless计算平台一方面要求兼得最高的安全性和最小的资源开销,另一方面要保持对原有程序执行方式的兼容,比如支持任意二进制的文件,这使得适用于特定语言的VM的方案不可行。当serverless计算的规模与影响力变得越来越大,在应用框架、语言、硬件等层面上,根据serverless负载的特点进行端对端优化就变得非常的有意义。所有新技术正在创造崭新的计算环境,实现最佳性能功耗比,和性能价格比的,另外一个重要方向就是支持异构硬件,长期以来,X86处理器的性能越来越难以提升。而在AI等对算力要求极高的场景,TPU、FPG TPU等处理器则更具优势。
随着异构硬件虚拟化、资源池化,异构资源调度和应用框架知识的成熟,异构硬件的算力也通过serverless的方式进行释放,大幅降低了用户的使用门槛。

 

相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC,快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
2848 99
|
消息中间件 存储 Cloud Native
云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”
2024 年 12 月 24 日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025 中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识,与产业先行者共同探索算力互联网产业未来发展的方向。会议公布了“2024 年度云原生与应用现代化标杆案例”评选结果,“云消息队列 Kafka 版 V3 系列”荣获“云原生技术创新标杆案例”。
746 116
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
存储 弹性计算 Cloud Native
云原生数据库的演进与应用实践
随着企业业务扩展,传统数据库难以应对高并发与弹性需求。云原生数据库应运而生,具备计算存储分离、弹性伸缩、高可用等核心特性,广泛应用于电商、金融、物联网等场景。阿里云PolarDB、Lindorm等产品已形成完善生态,助力企业高效处理数据。未来,AI驱动、Serverless与多云兼容将推动其进一步发展。
706 8
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
1024 12
|
消息中间件 存储 大数据
阿里云消息队列 Kafka 架构及典型应用场景
阿里云消息队列 Kafka 是一款基于 Apache Kafka 的分布式消息中间件,支持消息发布与订阅模型,满足微服务解耦、大数据处理及实时流数据分析需求。其通过存算分离架构优化成本与性能,提供基础版、标准版和专业版三种 Serverless 版本,分别适用于不同业务场景,最高 SLA 达 99.99%。阿里云 Kafka 还具备弹性扩容、多可用区部署、冷热数据缓存隔离等特性,并支持与 Flink、MaxCompute 等生态工具无缝集成,广泛应用于用户行为分析、数据入库等场景,显著提升数据处理效率与实时性。
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
消息中间件 C语言 RocketMQ
消息队列 MQ操作报错合集之出现"Connection reset by peer"的错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
消息中间件 Java C语言
消息队列 MQ使用问题之在使用C++客户端和GBase的ESQL进行编译时出现core dump,该怎么办
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。