第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!

本文涉及的产品
函数计算FC,每月15万CU 3个月
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 第五届中国云计算基础架构开发者大会(CID)于2024年10月19日在北京成功举办。大会汇聚了300多位现场参会者和超过3万名在线观众,30余位技术专家进行了精彩分享,涵盖高效部署大模型推理、Knative加速AI应用Serverless化、AMD平台PMU虚拟化技术实践、Kubernetes中全链路GPU高效管理等前沿话题。阿里云的讲师团队通过专业解读,为与会者带来了全新的视野和启发,推动了云计算技术的创新发展。

背景:第五届中国云计算基础架构开发者大会(China Cloud Computing Infrastructure Developer Conference - 简称CID)由华为、腾讯云、阿里云、Intel、字节跳动于2020年共同发起,迪捷软件作为赞助及财务流程支持单位,旨在为开发者创造一个互相交流、共同提高的机会。前四届 CID 分别于 2020、2021、2022、2023在长沙、上海、杭州、深圳举行,每届会议均邀请40余位技术专家与百余位专业观众线下相聚,并通过 CSDN、爱奇艺、InfoQ 等知名媒体线上转播,获得了良好的的业界反响与影响力。

2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。此次盛会,吸引了300多位参会者到场交流,直播间观看人数更是突破了3万,显示出行业内的广泛关注与热情。
在大会上,30+位讲师进行了30场技术分享,以前沿的视角和深刻的洞见,为与会者呈现了一场思想的盛宴。阿里云的多位讲师出席了本次CID大会,分享了他们在云计算基础设施建设方面的独特见解和最新研究成果。
1.jpg

如何高效部署大模型推理业务
阿里云资深计算专家,弹性计算 GPU 架构师/研发负责人郑晓参加了本次CID大会的主论坛Keynote:携手行业先锋,共话云计算基础设施新篇章。他在会上提到,随着人工智能应用的迅猛增长,推理的成本与效率成为了决定其成功的关键因素。他深入探讨了当前推理技术的发展趋势及其对 GPU 计算实例的新要求。他的技术分享主要聚焦于,从业务出发聚焦部署一个实际的 LLM 推理的业务,介绍了针对 GPU 架构的优化方法、多卡通信的调优方法,助力客户显著提高推理任务的效率和成本效益。
2.JPG

(阿里云资深计算专家郑晓)
Knative 加速企业 AI 应用 Serverless 化落地
根据 Gartner 预测,到 2027 年,中国的全部 AI 推理工作负载中,基于云的工作负载占比将从当前的 20%上升至 80%。然而 AI 推理服务需要消耗大量的 GPU 计算资源,如何在保证服务质量基础之上提升服务迭代效率并降低资源成本具有挑战性。
对于这个问题,阿里云技术专家李鹏在云系统基础软件分论坛为大家带来了基于 Knative 如何加速企业 AI 应用 Serverless 化落地的技术分享。
3.jpg
9.png

(阿里云技术专家李鹏)

首先对 Knative 进行了系统全面的介绍。Knative 是一款基于 Kubernetes(K8s) 之上的广受欢迎的开源 Serverless 应用架构,提供基于请求的自动弹性、缩容到 0 、灰度发布以及事件驱动等功能。通过 Knative 部署应用可以做到专注于应用逻辑开发,资源按需使用:
●更聚焦于业务逻辑:Knative 通过简单的应用配置、自动扩缩容等手段让开发者聚焦于业务逻辑,降低运维负担、减少对底层资源的关注。
●标准化:传统方式将业务代码部署到 PaaS 平台时,需要考虑源码的编译、部署、资源使用、运维等。Knative提供了一个标准、通用的 Serverless 应用框架,无需与云厂商做深度绑定,便于跨平台迁移。
●使用门槛低:支持将代码打包为容器镜像并自动发布为服务,也支持将函数快捷地部署到 K8s 集群中,以容器的方式运行,不需要关注 K8s 自身资源如 Deployment、Service、Ingress等。
●应用自动化:基于请求自动弹性,支持在没有流量时自动将实例数量缩容至 0 ,从而节省资源,还提供多版本管理、灰度发布等功能。
●事件驱动:Knative 提供了完整的事件模型,便于接入外部系统的事件,并将事件转发到对应服务进行处理。
紧接着介绍了阿里云 Knative 产品在完全兼容社区 Knative 基础上,进行了全方位的能力升级:
●完全兼容社区 Knative,提供 K8s 标准 API,无需担心厂商绑定
●提供产品化 UI 控制台、智能弹性 AHPA 等功能,并完全基于ACK/ACS产品底座
●与 EventBridge、云效、日志服务、Arms-Prometheus 深度集成,并提供云产品网关:ALB、ASM、MSE
●控制面组件全托管、高可用

随后聚焦于 AI 推理服务场景,传统的基于 GPU 利用率的弹性伸缩并不能准确反映大语言模型推理服务的真实使用情况,GPU 利用率达到 100% 并不一定意味着系统已经处于繁忙状态。相比之下,基于并发数或每秒处理请求数(QPS/RPS)更能直接反映 AI 推理服务的性能表现。而这些恰好是 Knative 所擅长的,结合实例缩容到 0、智能弹性 AHPA 以及 Fluid 可以大幅降低请求响应延时,做到极致弹性。以vLLM + Qwen模型为例可以做到端到端首请求延时下降 67%。
目前阿里云 Knative 已全面助力硅基仿生、数禾科技、Rokid、XTransfer以及合思等企业应用 Serverless 化,其 AI 推理模型服务在应对突发请求流量的稳定性获得大幅提升,同时资源的使用效率也获得了显著提高,最多可以降低 60% 资源使用成本。
AMD平台Core&UnCorePMU虚拟化技术实践
阿里云技术专家郑翔和阿里云研发工程师陈培鸿在探索与实践分论坛共同分享了阿里云在AMD架构实例上Core&UnCorePMU虚拟化技术的原理和实现,同时介绍如何在虚拟机中通过这项技术来使用perf和AMDuProf等性能调试和监控工具。随着云计算业务的快速发展,客户业务对硬件监控数据(比如内存带宽、LLC相关数据)、以及虚拟机内部调试能力的需求也越来越强烈。客户经常会找我们的线上值班同学,在主机上采集对应的硬件监控数据,来帮助他们定位性能问题,这无疑会带来非常差的体验,大大增加了客户定位问题的闭环时间。同时,缩减虚拟机和物理机之间的差异,也一直都是虚拟化技术努力的方向。为了让虚拟机的客户体验更好,我们自主研发了业界首个支持UnCore PMU的AMD虚拟机实例,使得虚拟机内部可以监控带外内存视角的CPU内存带宽能力、DMA内存带宽能力;并且将Core PMU的特性进行了补全,使得虚拟机具备跟物理机完全相同的PMU能力,可以有效支持客户进行业务性能调优以及业务混部时的指标监控。
4.JPG

(阿里云技术专家郑翔)
5.JPG

(阿里云研发工程师陈培鸿)
使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理
阿里云高级工程师吴超和蚂蚁集团高级软件开发工程师李亚南在云系统基础软件分论坛共同分享了使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理的议题。自 Kata Containers 3.0 推出创新性的 Dragonball VMM 和 runtime-rs 以来,我们一直在不断完善其功能。其核心之一就是增强全面支持GPU全生命周期管理。在 AI/ML 工作负载的场景中,如何方便高效地管理计算资源(如 GPU,FPGA 等)变得至关重要。然而,用户在 Kubernetes 环境中使用Kata运行这样的工作负载时,想要高效便捷地获取和使用 GPU 资源面临着重大挑战。亟需一种更全面、标准化的方法来解决这些问题。Kata Containers 通过引入 CDI,有效解决了这一问题,实现 GPU 资源的便捷获取和管理并实现AI/ML工作负载的无缝迁移。
6.JPG

(阿里云高级工程师吴超)
7.JPG

(蚂蚁集团高级软件开发工程师李亚南)
第五届CID大会聚集了业界最前沿的云计算基础架构技术成果,通过主论坛与四大技术主题分论坛,为与会者提供了一个深入了解和交流云计算基础架构技术的平台。阿里云的讲师团队通过对前沿技术与应用案例的专业解读,为参与者们带来了全新的视野和启迪。随着大会的圆满结束,云计算的未来将更加辉煌。阿里云的讲师们将继续致力于推动技术创新,携手行业共同迎接未来的挑战。我们相信,更多的创新将为各行各业注入源源不断的活力与动力。让我们共同期待下一个辉煌的时代,见证云计算带来的深远变革!

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
14天前
|
人工智能 Kubernetes 云计算
第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!
2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。
|
6月前
|
数据采集 存储 人工智能
商汤联合发布《新一代人工智能基础设施白皮书》,解读AI 2.0时代“新基建”
近日,商汤科技智能产业研究院与中国信息通信研究院云计算与大数据研究所,中国智能算力产业联盟,人工智能算力产业生态联盟,联合发布《新一代人工智能基础设施白皮书》(以下简称《白皮书》)。《白皮书》不仅明确了“新一代AI基础设施”的定义、特点和价值,还首次提出“新一代AI基础设施评估体系”,为AI 2.0时代智算产业发展提供重要参考。
|
人工智能 网络协议 数据中心
乌镇峰会丨阿里云蔡德忠:面向AI的下一代互联网
乌镇峰会丨阿里云蔡德忠:面向AI的下一代互联网
乌镇峰会丨阿里云蔡德忠:面向AI的下一代互联网
|
机器学习/深度学习 人工智能 运维
首届CCF中国网络大会丨AI浪潮下的可预期智算网络
首届CCF中国网络大会丨AI浪潮下的可预期智算网络
|
数据采集 机器学习/深度学习 人工智能
北京出手通用人工智能:产业创新伙伴计划公布,要推动大模型产业加速落地
北京出手通用人工智能:产业创新伙伴计划公布,要推动大模型产业加速落地
305 0
|
机器学习/深度学习 人工智能 自然语言处理
从清华白皮书,看百度如何由AI与产业融合的“领跑者”变成“领航员”
产业智能化到底什么时候才能全面落地?不知道,应该不会太快。
从清华白皮书,看百度如何由AI与产业融合的“领跑者”变成“领航员”
|
机器学习/深度学习 人工智能 并行计算
河南最快超算平台启用,加速智慧城市和人工智能应用
2 月 16 日,河南省最快超级计算机在郑州大学(郑州)超算中心正式投入使用。郑州大学超算中心的设备在软件的调度作用下形成了一个紧耦合的全面系统,借助高性能计算集群强大的计算能力,以深度学习硬件为优化工具,使用大数据分析的方法,对包括政务云学习在内的众多应用进行支撑。
310 0
河南最快超算平台启用,加速智慧城市和人工智能应用
|
人工智能 安全 数据安全/隐私保护
蚂蚁金服共享智能平台荣获“世界人工智能产业安全十大创新实践”
8月30日,在2019世界人工智能大会上,蚂蚁金服共享智能平台荣获“世界人工智能产业安全十大创新实践”。
1203 0
蚂蚁金服共享智能平台荣获“世界人工智能产业安全十大创新实践”
来2019全球智博会 见证AI创新未来
2019全球智博会,值得期待!
449 0
百度(杭州)创新中心人工智能产业论坛落幕,看AI如何引发行业革命
AI在城市大脑建设、医疗救助中是如何引发变革的?
382 0