背景：第五届中国云计算基础架构开发者大会（China Cloud Computing Infrastructure Developer Conference - 简称CID）由华为、腾讯云、阿里云、Intel、字节跳动于2020年共同发起，迪捷软件作为赞助及财务流程支持单位，旨在为开发者创造一个互相交流、共同提高的机会。前四届 CID 分别于 2020、2021、2022、2023在长沙、上海、杭州、深圳举行，每届会议均邀请40余位技术专家与百余位专业观众线下相聚，并通过 CSDN、爱奇艺、InfoQ 等知名媒体线上转播，获得了良好的的业界反响与影响力。
2024年10月19日，第五届中国云计算基础架构开发者大会（CID）在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英，不同背景的与会者齐聚一堂，共同探讨云计算技术的最新发展与未来趋势。此次盛会，吸引了300多位参会者到场交流，直播间观看人数更是突破了3万，显示出行业内的广泛关注与热情。
在大会上，30+位讲师进行了30场技术分享，以前沿的视角和深刻的洞见，为与会者呈现了一场思想的盛宴。阿里云的多位讲师出席了本次CID大会，分享了他们在云计算基础设施建设方面的独特见解和最新研究成果。
如何高效部署大模型推理业务
阿里云资深计算专家，弹性计算 GPU 架构师/研发负责人郑晓参加了本次CID大会的主论坛Keynote：携手行业先锋，共话云计算基础设施新篇章。他在会上提到，随着人工智能应用的迅猛增长，推理的成本与效率成为了决定其成功的关键因素。他深入探讨了当前推理技术的发展趋势及其对 GPU 计算实例的新要求。他的技术分享主要聚焦于，从业务出发聚焦部署一个实际的 LLM 推理的业务，介绍了针对 GPU 架构的优化方法、多卡通信的调优方法，助力客户显著提高推理任务的效率和成本效益。
（阿里云资深计算专家郑晓）
Knative 加速企业 AI 应用 Serverless 化落地
根据 Gartner 预测，到 2027 年，中国的全部 AI 推理工作负载中，基于云的工作负载占比将从当前的 20%上升至 80%。然而 AI 推理服务需要消耗大量的 GPU 计算资源，如何在保证服务质量基础之上提升服务迭代效率并降低资源成本具有挑战性。
对于这个问题，阿里云技术专家李鹏在云系统基础软件分论坛为大家带来了基于 Knative 如何加速企业 AI 应用 Serverless 化落地的技术分享。
（阿里云技术专家李鹏）
首先对 Knative 进行了系统全面的介绍。Knative 是一款基于 Kubernetes（K8s） 之上的广受欢迎的开源 Serverless 应用架构，提供基于请求的自动弹性、缩容到 0 、灰度发布以及事件驱动等功能。通过 Knative 部署应用可以做到专注于应用逻辑开发，资源按需使用：
●更聚焦于业务逻辑：Knative 通过简单的应用配置、自动扩缩容等手段让开发者聚焦于业务逻辑，降低运维负担、减少对底层资源的关注。
●标准化：传统方式将业务代码部署到 PaaS 平台时，需要考虑源码的编译、部署、资源使用、运维等。Knative提供了一个标准、通用的 Serverless 应用框架，无需与云厂商做深度绑定，便于跨平台迁移。
●使用门槛低：支持将代码打包为容器镜像并自动发布为服务，也支持将函数快捷地部署到 K8s 集群中，以容器的方式运行，不需要关注 K8s 自身资源如 Deployment、Service、Ingress等。
●应用自动化：基于请求自动弹性，支持在没有流量时自动将实例数量缩容至 0 ，从而节省资源，还提供多版本管理、灰度发布等功能。
●事件驱动：Knative 提供了完整的事件模型，便于接入外部系统的事件，并将事件转发到对应服务进行处理。
紧接着介绍了阿里云 Knative 产品在完全兼容社区 Knative 基础上，进行了全方位的能力升级：
●完全兼容社区 Knative，提供 K8s 标准 API，无需担心厂商绑定
●提供产品化 UI 控制台、智能弹性 AHPA 等功能，并完全基于ACK/ACS产品底座
●与 EventBridge、云效、日志服务、Arms-Prometheus 深度集成，并提供云产品网关：ALB、ASM、MSE
●控制面组件全托管、高可用
随后聚焦于 AI 推理服务场景，传统的基于 GPU 利用率的弹性伸缩并不能准确反映大语言模型推理服务的真实使用情况，GPU 利用率达到 100% 并不一定意味着系统已经处于繁忙状态。相比之下，基于并发数或每秒处理请求数（QPS/RPS）更能直接反映 AI 推理服务的性能表现。而这些恰好是 Knative 所擅长的，结合实例缩容到 0、智能弹性 AHPA 以及 Fluid 可以大幅降低请求响应延时，做到极致弹性。以vLLM + Qwen模型为例可以做到端到端首请求延时下降 67%。
目前阿里云 Knative 已全面助力硅基仿生、数禾科技、Rokid、XTransfer以及合思等企业应用 Serverless 化，其 AI 推理模型服务在应对突发请求流量的稳定性获得大幅提升，同时资源的使用效率也获得了显著提高，最多可以降低 60% 资源使用成本。
AMD平台Core&UnCorePMU虚拟化技术实践
阿里云技术专家郑翔和阿里云研发工程师陈培鸿在探索与实践分论坛共同分享了阿里云在AMD架构实例上Core&UnCorePMU虚拟化技术的原理和实现，同时介绍如何在虚拟机中通过这项技术来使用perf和AMDuProf等性能调试和监控工具。随着云计算业务的快速发展，客户业务对硬件监控数据（比如内存带宽、LLC相关数据）、以及虚拟机内部调试能力的需求也越来越强烈。客户经常会找我们的线上值班同学，在主机上采集对应的硬件监控数据，来帮助他们定位性能问题，这无疑会带来非常差的体验，大大增加了客户定位问题的闭环时间。同时，缩减虚拟机和物理机之间的差异，也一直都是虚拟化技术努力的方向。为了让虚拟机的客户体验更好，我们自主研发了业界首个支持UnCore PMU的AMD虚拟机实例，使得虚拟机内部可以监控带外内存视角的CPU内存带宽能力、DMA内存带宽能力；并且将Core PMU的特性进行了补全，使得虚拟机具备跟物理机完全相同的PMU能力，可以有效支持客户进行业务性能调优以及业务混部时的指标监控。
（阿里云技术专家郑翔）
（阿里云研发工程师陈培鸿）
使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理
阿里云高级工程师吴超和蚂蚁集团高级软件开发工程师李亚南在云系统基础软件分论坛共同分享了使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理的议题。自 Kata Containers 3.0 推出创新性的 Dragonball VMM 和 runtime-rs 以来，我们一直在不断完善其功能。其核心之一就是增强全面支持GPU全生命周期管理。在 AI/ML 工作负载的场景中，如何方便高效地管理计算资源（如 GPU，FPGA 等）变得至关重要。然而，用户在 Kubernetes 环境中使用Kata运行这样的工作负载时，想要高效便捷地获取和使用 GPU 资源面临着重大挑战。亟需一种更全面、标准化的方法来解决这些问题。Kata Containers 通过引入 CDI，有效解决了这一问题，实现 GPU 资源的便捷获取和管理并实现AI/ML工作负载的无缝迁移。
（阿里云高级工程师吴超）
（蚂蚁集团高级软件开发工程师李亚南）
第五届CID大会聚集了业界最前沿的云计算基础架构技术成果，通过主论坛与四大技术主题分论坛，为与会者提供了一个深入了解和交流云计算基础架构技术的平台。阿里云的讲师团队通过对前沿技术与应用案例的专业解读，为参与者们带来了全新的视野和启迪。随着大会的圆满结束，云计算的未来将更加辉煌。阿里云的讲师们将继续致力于推动技术创新，携手行业共同迎接未来的挑战。我们相信，更多的创新将为各行各业注入源源不断的活力与动力。让我们共同期待下一个辉煌的时代，见证云计算带来的深远变革！
