新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会

本文涉及的产品
性能测试 PTS,5000VUM额度
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会

image.png


专场名称:AI 原生应用架构

9月21日 09:30 - 12:00 D3-5馆


基于大模型的 AI 原生应用越来越多,Java 开发者正扮演构建 AI 原生应用的重要力量;同时,容器和微服务为代表的云原生技术已加速渗透传统业务,安全、稳定和效率成为大家关注的重点。


本专场将聚焦 AI 原生应用的行业进程,分享企业借助 AI 原生技术加速业务创新和迭代过程中,应对效率和性能提升、成本优化和安全防护的实践,旨在为一线工程师、架构师和技术管理人员提供可借鉴的经验。01


议题一:

AI 时代,从 Spring Cloud Alibaba 到 Spring AI Alibaba


分享嘉宾:

李艳林,阿里云智能集团云原生微服务技术负责人,Spring AI Alibaba 发起人

image.png


演讲提纲

1. 应用框架的发展趋势

  • AI 时代应用架构的演进趋势。
  • AI Agent 框架的发展趋势。

2. Java 开发者视角的 AI 原生应用架构

  • Spring-AI-Alibaba:让 Java 开发者一步迈入 AI 原生时代。
  • Higress:零代码构建 AI 应用。
  • Apache RocketMQ:事件驱动 AI 架构。
  • LLM 观测技术栈。

3. AI 原生应用架构的落地&实践

  • AI 场景&选型。
  • AI 答疑专家的实践。
  • AI 视频处理的实践。


需求或痛点

  • 如何将 Java 的可移植性、模块化设计等设计原则融入 AI 应用的开发。
  • Java 开发者如何快速开发 AI 应用。
  • 从技术栈视角看,如何确保一致性。


亮点

  • 发布 Spring-AI-Alibaba,为 Java 开发者提供开箱即用的 AI 框架。
  • 发布 Higress 全新版本,提供完整的 AI 插件,零代码构建 AI 应用。
  • 发布 RocketMQ Python SDK。
  • 贡献 Java/GO/Python Agent 到 OT 社区,夯实 LLM 观测体系。


听众收益

  • 了解完整的 AI 原生应用架构。
  • 了解关键开源项目的进展和演进方向。
  • 了解 AI 原生应用架构的落地实践。

02


议题二:

从云原生到 AI 原生,网关的发展趋势和最佳实践


分享嘉宾:

谢吉宝,阿里云智能集团资深技术专家,云原生产品线中间件负责人

image.png


演讲提纲

1. 从云原生到 AI 原生,网关的机遇和挑战

  • 软件架构演进过程中,网关的发展历程。
  • AI 原生应用所带来的流量新特点,网关所遇到的痛点。
  • 云原生 API 网关:高集成化解云原生和 AI 原生的复杂场景。

2. 云原生 API 网关的价值和优势

  • 高集成:零代码构建 AI 应用。
  • 零信任:AI 防护 & 内容合规。
  • 高性能:软硬一体加速响应体验。
  • 高可用:服务治理无损变更。

3. 云原生 API 网关的实践、典型客户和 Demo

  • 云产品案例:通义APP、灵积、人工智能平台 PAI。
  • 云上客户案例:零一万物、震坤行。
  • 开源贡献:AI 原生的 API 网关 Higress。
  • Demo:配置大模型代理、AI 统计、内容安全等插件。


需求或痛点

  • AI 产业日均总流量达亿级别,流量的新特点给网关带来了新的痛点。
  • LLM 应用的内容生成时间更长,对话连续性对用户体验至关重要,如果避免后端插件更新导致的服务中断?
  • LLM 应用在服务端处理单个请求的资源消耗会大幅超过客户端,来自客户端的攻击成本更低,后端的资源开销更大,如何加固后端架构稳定性?
  • 如何防止黑灰产爬取免费调用量封装成收费 API 所造成的资损?
  • LLM 应用生成的内容则是基于人工智能推理,如果保障生产内容的合规和安全?


亮点

  • 发布云原生 API 网关,统一流量网关、微服务网关、安全网关、AI 网关,高集成化解云原生和 AI 原生的复杂场景。
  • 通义APP、灵积、人工智能平台 PAI 这些云产品如何基于云原生 API 网关构建网关架构。
  • 零一万物、震坤行如何基于云原生 API 网关承载 LLM 应用。
  • 开源网关 Higress 推出丰富的免费插件市场。


听众收益

  • 了解网关的发展历程,升级网关在架构中的角色。
  • 了解云原生 API 网关的应用场景。
  • 了解云原生 API 网关的典型客户案例。

03


议题三:

微服务引擎 MSE:打造通用的企业级微服务架构


分享嘉宾:

邢学超,阿里云智能集团高级技术专家

image.png


演讲提纲

1. 微服务技术的新趋势和新挑战

  • 新趋势:开源标准化、跨语言架构、高可用成为企业标准诉求。
  • 新挑战:开源维护成本高、跨语言复杂度高、高可用改造代价高。

2. 微服务引擎 MSE:打造通用企业级微服务架构

  • 流量入口:跨语言、跨框架服务治理,默认高可用、高安全,高性能。
  • 内部流量:内部 RPC 流量,通过注册中心进行寻址,集群可以通过配置中心整体管理 。
  • 微服务治理:管理业务应用的治理,增强业务高可用能力 。
  • 默认高可用、默认安全零信任、默认性能翻倍。

3. 微服务引擎 MSE:拥抱开源,坚持开放

  • 引领国内微服务架构,相关开源项目有 60%市场份额。
  • 快速构建 Spring AI 标准应用,提供 AI 场景下的最佳 Java 实践。
  • 通过云原生让应用场景更加融入 AI,通过 AI 原生让更多云原生应用赋予智能。

4. 微服务引擎 MSE:最佳实践以及演示视频

  • 应用上云迁移实践。
  • 全链路灰度演示视频。


需求或痛点

  • 开源虽然“自主可控”,但伴随业务增长,维护成本日益增高、风险日益放大,控制力日益减弱,如何一劳永逸提升效率、保障稳定性?
  • 研发团队越来越多元化,跨语言越来越流行,如何统一治理跨语言服务?
  • 业务的容灾诉求逐渐强烈,但改造迭代代价大,如何低成本、不改代码的提升容灾能力?


亮点

  • MSE ScheduleX 发布 XXL-Job 实例型,0代码改造,自建 XXL-Job 平滑迁移到 ScheduleX XXL-Job 协议实例型,更稳定、更安全、更高性能。
  • MSE 发布 Golang 治理能力,整合 GoLang 和 Java 应用服务框架 ,进行全局服务治理。


听众收益

  • 了解微服务技术的新趋势和新挑战。
  • 了解微服务引擎 MSE 的产品优势和原理。
  • 了解微服务引擎 MSE 的应用场景。


若您对上方议题内容感兴趣,欢迎在云栖大会官网进行订阅。

image.png

相关文章
|
11天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
916 59
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
谷歌最新推出的Gemini 2.0是一款原生多模态输入输出的AI模型,以Agent技术为核心,支持多种数据类型的输入与输出,具备强大的性能和多语言音频输出能力。本文将详细介绍Gemini 2.0的主要功能、技术原理及其在多个领域的应用场景。
104 20
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
|
2天前
|
弹性计算 Java 关系型数据库
Web应用上云经典架构实践教学
Web应用上云经典架构实践教学
Web应用上云经典架构实践教学
|
13天前
|
机器学习/深度学习 人工智能 并行计算
【AI系统】Kernel 层架构
推理引擎的Kernel层负责执行底层数学运算,如矩阵乘法、卷积等,直接影响推理速度与效率。它与Runtime层紧密配合,通过算法优化、内存布局调整、汇编优化及调度优化等手段,实现高性能计算。Kernel层针对不同硬件(如CPU、GPU)进行特定优化,支持NEON、AVX、CUDA等技术,确保在多种平台上高效运行。
66 32
|
13天前
|
存储 机器学习/深度学习 人工智能
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
45 4
【AI系统】计算图优化架构
|
1天前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
35 10
|
1天前
|
人工智能 Serverless API
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
29 11
|
1天前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
24 9
|
8天前
|
机器学习/深度学习 人工智能 监控
AI视频监控技术的核心优势与实践
AI视频监控技术结合了计算机视觉、深度学习和大数据分析,能够实时分析监控画面,识别异常行为和场景变化。其核心在于从“被动记录”转型为“主动识别”,提升监控效率并减少安全隐患。主要应用场景包括泳池管理、健身器械区域、人员密度预警和异常事件检测。系统架构支持多种摄像头设备,采用边缘计算和Docker部署,具备实时性、高准确率和扩展性等优势。未来将优化复杂场景适应性和实时计算负载,进一步提高系统性能。
|
16天前
|
存储 人工智能 监控
【AI系统】推理系统架构
本文深入探讨了AI推理系统架构,特别是以NVIDIA Triton Inference Server为核心,涵盖推理、部署、服务化三大环节。Triton通过高性能、可扩展、多框架支持等特点,提供了一站式的模型服务解决方案。文章还介绍了模型预编排、推理引擎、返回与监控等功能,以及自定义Backend开发和模型生命周期管理的最佳实践,如金丝雀发布和回滚策略,旨在帮助构建高效、可靠的AI应用。
76 15
下一篇
DataWorks