第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 第五届中国云计算基础架构开发者大会(CID)于2024年10月19日在北京成功举办。大会汇聚了300多位现场参会者和超过3万名在线观众,30余位技术专家进行了精彩分享,涵盖高效部署大模型推理、Knative加速AI应用Serverless化、AMD平台PMU虚拟化技术实践、Kubernetes中全链路GPU高效管理等前沿话题。阿里云的讲师团队通过专业解读,为与会者带来了全新的视野和启发,推动了云计算技术的创新发展。

背景:第五届中国云计算基础架构开发者大会(China Cloud Computing Infrastructure Developer Conference - 简称CID)由华为、腾讯云、阿里云、Intel、字节跳动于2020年共同发起,迪捷软件作为赞助及财务流程支持单位,旨在为开发者创造一个互相交流、共同提高的机会。前四届 CID 分别于 2020、2021、2022、2023在长沙、上海、杭州、深圳举行,每届会议均邀请40余位技术专家与百余位专业观众线下相聚,并通过 CSDN、爱奇艺、InfoQ 等知名媒体线上转播,获得了良好的的业界反响与影响力。

2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。此次盛会,吸引了300多位参会者到场交流,直播间观看人数更是突破了3万,显示出行业内的广泛关注与热情。
在大会上,30+位讲师进行了30场技术分享,以前沿的视角和深刻的洞见,为与会者呈现了一场思想的盛宴。阿里云的多位讲师出席了本次CID大会,分享了他们在云计算基础设施建设方面的独特见解和最新研究成果。
1.jpg

如何高效部署大模型推理业务
阿里云资深计算专家,弹性计算 GPU 架构师/研发负责人郑晓参加了本次CID大会的主论坛Keynote:携手行业先锋,共话云计算基础设施新篇章。他在会上提到,随着人工智能应用的迅猛增长,推理的成本与效率成为了决定其成功的关键因素。他深入探讨了当前推理技术的发展趋势及其对 GPU 计算实例的新要求。他的技术分享主要聚焦于,从业务出发聚焦部署一个实际的 LLM 推理的业务,介绍了针对 GPU 架构的优化方法、多卡通信的调优方法,助力客户显著提高推理任务的效率和成本效益。
2.JPG

(阿里云资深计算专家郑晓)
Knative 加速企业 AI 应用 Serverless 化落地
根据 Gartner 预测,到 2027 年,中国的全部 AI 推理工作负载中,基于云的工作负载占比将从当前的 20%上升至 80%。然而 AI 推理服务需要消耗大量的 GPU 计算资源,如何在保证服务质量基础之上提升服务迭代效率并降低资源成本具有挑战性。
对于这个问题,阿里云技术专家李鹏在云系统基础软件分论坛为大家带来了基于 Knative 如何加速企业 AI 应用 Serverless 化落地的技术分享。
3.png

4.jpg

(阿里云技术专家李鹏)

首先对 Knative 进行了系统全面的介绍。Knative 是一款基于 Kubernetes(K8s) 之上的广受欢迎的开源 Serverless 应用架构,提供基于请求的自动弹性、缩容到 0 、灰度发布以及事件驱动等功能。通过 Knative 部署应用可以做到专注于应用逻辑开发,资源按需使用:
●更聚焦于业务逻辑:Knative 通过简单的应用配置、自动扩缩容等手段让开发者聚焦于业务逻辑,降低运维负担、减少对底层资源的关注。
●标准化:传统方式将业务代码部署到 PaaS 平台时,需要考虑源码的编译、部署、资源使用、运维等。Knative提供了一个标准、通用的 Serverless 应用框架,无需与云厂商做深度绑定,便于跨平台迁移。
●使用门槛低:支持将代码打包为容器镜像并自动发布为服务,也支持将函数快捷地部署到 K8s 集群中,以容器的方式运行,不需要关注 K8s 自身资源如 Deployment、Service、Ingress等。
●应用自动化:基于请求自动弹性,支持在没有流量时自动将实例数量缩容至 0 ,从而节省资源,还提供多版本管理、灰度发布等功能。
●事件驱动:Knative 提供了完整的事件模型,便于接入外部系统的事件,并将事件转发到对应服务进行处理。
紧接着介绍了阿里云 Knative 产品在完全兼容社区 Knative 基础上,进行了全方位的能力升级:
●完全兼容社区 Knative,提供 K8s 标准 API,无需担心厂商绑定
●提供产品化 UI 控制台、智能弹性 AHPA 等功能,并完全基于ACK/ACS产品底座
●与 EventBridge、云效、日志服务、Arms-Prometheus 深度集成,并提供云产品网关:ALB、ASM、MSE
●控制面组件全托管、高可用

随后聚焦于 AI 推理服务场景,传统的基于 GPU 利用率的弹性伸缩并不能准确反映大语言模型推理服务的真实使用情况,GPU 利用率达到 100% 并不一定意味着系统已经处于繁忙状态。相比之下,基于并发数或每秒处理请求数(QPS/RPS)更能直接反映 AI 推理服务的性能表现。而这些恰好是 Knative 所擅长的,结合实例缩容到 0、智能弹性 AHPA 以及 Fluid 可以大幅降低请求响应延时,做到极致弹性。以vLLM + Qwen模型为例可以做到端到端首请求延时下降 67%。
目前阿里云 Knative 已全面助力硅基仿生、数禾科技、Rokid、XTransfer以及合思等企业应用 Serverless 化,其 AI 推理模型服务在应对突发请求流量的稳定性获得大幅提升,同时资源的使用效率也获得了显著提高,最多可以降低 60% 资源使用成本。
AMD平台Core&UnCorePMU虚拟化技术实践
阿里云技术专家郑翔和阿里云研发工程师陈培鸿在探索与实践分论坛共同分享了阿里云在AMD架构实例上Core&UnCorePMU虚拟化技术的原理和实现,同时介绍如何在虚拟机中通过这项技术来使用perf和AMDuProf等性能调试和监控工具。随着云计算业务的快速发展,客户业务对硬件监控数据(比如内存带宽、LLC相关数据)、以及虚拟机内部调试能力的需求也越来越强烈。客户经常会找我们的线上值班同学,在主机上采集对应的硬件监控数据,来帮助他们定位性能问题,这无疑会带来非常差的体验,大大增加了客户定位问题的闭环时间。同时,缩减虚拟机和物理机之间的差异,也一直都是虚拟化技术努力的方向。为了让虚拟机的客户体验更好,我们自主研发了业界首个支持UnCore PMU的AMD虚拟机实例,使得虚拟机内部可以监控带外内存视角的CPU内存带宽能力、DMA内存带宽能力;并且将Core PMU的特性进行了补全,使得虚拟机具备跟物理机完全相同的PMU能力,可以有效支持客户进行业务性能调优以及业务混部时的指标监控。
5.JPG

(阿里云技术专家郑翔)
6.JPG

(阿里云研发工程师陈培鸿)
使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理
阿里云高级工程师吴超和蚂蚁集团高级软件开发工程师李亚南在云系统基础软件分论坛共同分享了使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理的议题。自 Kata Containers 3.0 推出创新性的 Dragonball VMM 和 runtime-rs 以来,我们一直在不断完善其功能。其核心之一就是增强全面支持GPU全生命周期管理。在 AI/ML 工作负载的场景中,如何方便高效地管理计算资源(如 GPU,FPGA 等)变得至关重要。然而,用户在 Kubernetes 环境中使用Kata运行这样的工作负载时,想要高效便捷地获取和使用 GPU 资源面临着重大挑战。亟需一种更全面、标准化的方法来解决这些问题。Kata Containers 通过引入 CDI,有效解决了这一问题,实现 GPU 资源的便捷获取和管理并实现AI/ML工作负载的无缝迁移。
7.JPG

(阿里云高级工程师吴超)
8.JPG

(蚂蚁集团高级软件开发工程师李亚南)
第五届CID大会聚集了业界最前沿的云计算基础架构技术成果,通过主论坛与四大技术主题分论坛,为与会者提供了一个深入了解和交流云计算基础架构技术的平台。阿里云的讲师团队通过对前沿技术与应用案例的专业解读,为参与者们带来了全新的视野和启迪。随着大会的圆满结束,云计算的未来将更加辉煌。阿里云的讲师们将继续致力于推动技术创新,携手行业共同迎接未来的挑战。我们相信,更多的创新将为各行各业注入源源不断的活力与动力。让我们共同期待下一个辉煌的时代,见证云计算带来的深远变革!

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
73 16
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
13天前
|
人工智能 自然语言处理 测试技术
阿里云通义实验室自然语言处理方向负责人黄非:通义灵码2.0,迈入 Agentic AI
在通义灵码 2.0 发布会上,阿里云通义实验室自然语言处理方向负责人黄非分享了代码大模型的演进。过去一年来,随着大模型技术的发展,特别是智能体技术的深入应用,通义灵码也在智能体的基础上研发了针对于整个软件研发流程的不同任务的智能体,这里既包括单智能体,也包括多智能体合并框架,在这样的基础上我们研发了通义灵码2.0。
104 21
|
5天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置,包括CPU+GPU、FPGA等,适用于人工智能、机器学习和深度学习等计算密集型任务。本文整理了阿里云GPU服务器的优惠价格,涵盖NVIDIA A10、V100、T4等型号,提供1个月、1年和1小时的收费明细。具体规格如A10卡GN7i、V100-16G卡GN6v等,适用于不同业务场景,详情见官方页面。
46 10
|
6天前
|
SQL 人工智能 关系型数据库
【PG锦囊】阿里云 RDS PostgreSQL 版插件—AI 插件(rds_ai)
本文介绍了AI 插件(rds_ai)的核心优势、适用场景等,帮助您更好地了解 rds_ai 插件。想了解更多 RDS 插件信息和讨论交流,欢迎加入 RDS PG 插件用户专项服务群(103525002795)
|
11天前
|
人工智能 监控 安全
设计:智能医疗设备管理系统——AI医疗守护者
该系统将结合人工智能技术与区块链技术,实现对医疗设备的智能化管理。目标是提高医疗设备的管理效率,确保医疗设备的数据安全,优化医疗资源的配置,提升医疗服务质量。
|
9天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
33 5
|
16天前
|
传感器 机器学习/深度学习 人工智能
智能电网巡检与传感器数据AI自动分析
智能电网设备巡检与传感器数据分析利用AI技术实现自动化分析和预警。通过信息抽取、OCR技术和机器学习,系统可高效处理巡检报告和实时数据,生成精准报告并提供故障预判和早期识别。AI系统24小时监控设备状态,实时发出异常警报,确保设备正常运行,提升运维效率和可靠性。
|
14天前
|
人工智能 供应链 安全
阿里云 Confidential AI 最佳实践
本次分享的主题是阿里云 Confidential AI 最佳实践,由阿里云飞天实验室操作系统安全团队工程师张佳分享。主要分为三个部分: 1. Confidential AI 技术背景与挑战 2. Confidential AI 技术架构与应用场景 3. Confidential AI 技术实践与未来展望
|
14天前
|
人工智能 Java API
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
本次分享的主题是阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手,由阿里云两位工程师分享。
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
|
13天前
|
人工智能 编解码 自然语言处理
AI运用爆发时代, 视频服务云原生底座“视频云”架构的全智能再进化
本文介绍了AI运用爆发时代下,视频服务云原生底座“视频云”架构的全智能再进化。随着AI技术的发展,视频内容和交互方式正经历深刻变革。文章从背景、视频AI应用挑战、视频云网端底座、AIGC时代的全智能化及未来展望五个方面展开讨论。重点阐述了云、网、端三者如何深度融合,通过AI赋能视频采集、生产、分发和消费全流程,实现视频处理的智能化和高效化。同时,展望了未来AI在视频领域的创新应用和潜在的杀手级应用。