第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 第五届中国云计算基础架构开发者大会(CID)于2024年10月19日在北京成功举办。大会汇聚了300多位现场参会者和超过3万名在线观众,30余位技术专家进行了精彩分享,涵盖高效部署大模型推理、Knative加速AI应用Serverless化、AMD平台PMU虚拟化技术实践、Kubernetes中全链路GPU高效管理等前沿话题。阿里云的讲师团队通过专业解读,为与会者带来了全新的视野和启发,推动了云计算技术的创新发展。

背景:第五届中国云计算基础架构开发者大会(China Cloud Computing Infrastructure Developer Conference - 简称CID)由华为、腾讯云、阿里云、Intel、字节跳动于2020年共同发起,迪捷软件作为赞助及财务流程支持单位,旨在为开发者创造一个互相交流、共同提高的机会。前四届 CID 分别于 2020、2021、2022、2023在长沙、上海、杭州、深圳举行,每届会议均邀请40余位技术专家与百余位专业观众线下相聚,并通过 CSDN、爱奇艺、InfoQ 等知名媒体线上转播,获得了良好的的业界反响与影响力。

2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。此次盛会,吸引了300多位参会者到场交流,直播间观看人数更是突破了3万,显示出行业内的广泛关注与热情。
在大会上,30+位讲师进行了30场技术分享,以前沿的视角和深刻的洞见,为与会者呈现了一场思想的盛宴。阿里云的多位讲师出席了本次CID大会,分享了他们在云计算基础设施建设方面的独特见解和最新研究成果。
1.jpg

如何高效部署大模型推理业务
阿里云资深计算专家,弹性计算 GPU 架构师/研发负责人郑晓参加了本次CID大会的主论坛Keynote:携手行业先锋,共话云计算基础设施新篇章。他在会上提到,随着人工智能应用的迅猛增长,推理的成本与效率成为了决定其成功的关键因素。他深入探讨了当前推理技术的发展趋势及其对 GPU 计算实例的新要求。他的技术分享主要聚焦于,从业务出发聚焦部署一个实际的 LLM 推理的业务,介绍了针对 GPU 架构的优化方法、多卡通信的调优方法,助力客户显著提高推理任务的效率和成本效益。
2.JPG

(阿里云资深计算专家郑晓)
Knative 加速企业 AI 应用 Serverless 化落地
根据 Gartner 预测,到 2027 年,中国的全部 AI 推理工作负载中,基于云的工作负载占比将从当前的 20%上升至 80%。然而 AI 推理服务需要消耗大量的 GPU 计算资源,如何在保证服务质量基础之上提升服务迭代效率并降低资源成本具有挑战性。
对于这个问题,阿里云技术专家李鹏在云系统基础软件分论坛为大家带来了基于 Knative 如何加速企业 AI 应用 Serverless 化落地的技术分享。
3.png

4.jpg

(阿里云技术专家李鹏)

首先对 Knative 进行了系统全面的介绍。Knative 是一款基于 Kubernetes(K8s) 之上的广受欢迎的开源 Serverless 应用架构,提供基于请求的自动弹性、缩容到 0 、灰度发布以及事件驱动等功能。通过 Knative 部署应用可以做到专注于应用逻辑开发,资源按需使用:
●更聚焦于业务逻辑:Knative 通过简单的应用配置、自动扩缩容等手段让开发者聚焦于业务逻辑,降低运维负担、减少对底层资源的关注。
●标准化:传统方式将业务代码部署到 PaaS 平台时,需要考虑源码的编译、部署、资源使用、运维等。Knative提供了一个标准、通用的 Serverless 应用框架,无需与云厂商做深度绑定,便于跨平台迁移。
●使用门槛低:支持将代码打包为容器镜像并自动发布为服务,也支持将函数快捷地部署到 K8s 集群中,以容器的方式运行,不需要关注 K8s 自身资源如 Deployment、Service、Ingress等。
●应用自动化:基于请求自动弹性,支持在没有流量时自动将实例数量缩容至 0 ,从而节省资源,还提供多版本管理、灰度发布等功能。
●事件驱动:Knative 提供了完整的事件模型,便于接入外部系统的事件,并将事件转发到对应服务进行处理。
紧接着介绍了阿里云 Knative 产品在完全兼容社区 Knative 基础上,进行了全方位的能力升级:
●完全兼容社区 Knative,提供 K8s 标准 API,无需担心厂商绑定
●提供产品化 UI 控制台、智能弹性 AHPA 等功能,并完全基于ACK/ACS产品底座
●与 EventBridge、云效、日志服务、Arms-Prometheus 深度集成,并提供云产品网关:ALB、ASM、MSE
●控制面组件全托管、高可用

随后聚焦于 AI 推理服务场景,传统的基于 GPU 利用率的弹性伸缩并不能准确反映大语言模型推理服务的真实使用情况,GPU 利用率达到 100% 并不一定意味着系统已经处于繁忙状态。相比之下,基于并发数或每秒处理请求数(QPS/RPS)更能直接反映 AI 推理服务的性能表现。而这些恰好是 Knative 所擅长的,结合实例缩容到 0、智能弹性 AHPA 以及 Fluid 可以大幅降低请求响应延时,做到极致弹性。以vLLM + Qwen模型为例可以做到端到端首请求延时下降 67%。
目前阿里云 Knative 已全面助力硅基仿生、数禾科技、Rokid、XTransfer以及合思等企业应用 Serverless 化,其 AI 推理模型服务在应对突发请求流量的稳定性获得大幅提升,同时资源的使用效率也获得了显著提高,最多可以降低 60% 资源使用成本。
AMD平台Core&UnCorePMU虚拟化技术实践
阿里云技术专家郑翔和阿里云研发工程师陈培鸿在探索与实践分论坛共同分享了阿里云在AMD架构实例上Core&UnCorePMU虚拟化技术的原理和实现,同时介绍如何在虚拟机中通过这项技术来使用perf和AMDuProf等性能调试和监控工具。随着云计算业务的快速发展,客户业务对硬件监控数据(比如内存带宽、LLC相关数据)、以及虚拟机内部调试能力的需求也越来越强烈。客户经常会找我们的线上值班同学,在主机上采集对应的硬件监控数据,来帮助他们定位性能问题,这无疑会带来非常差的体验,大大增加了客户定位问题的闭环时间。同时,缩减虚拟机和物理机之间的差异,也一直都是虚拟化技术努力的方向。为了让虚拟机的客户体验更好,我们自主研发了业界首个支持UnCore PMU的AMD虚拟机实例,使得虚拟机内部可以监控带外内存视角的CPU内存带宽能力、DMA内存带宽能力;并且将Core PMU的特性进行了补全,使得虚拟机具备跟物理机完全相同的PMU能力,可以有效支持客户进行业务性能调优以及业务混部时的指标监控。
5.JPG

(阿里云技术专家郑翔)
6.JPG

(阿里云研发工程师陈培鸿)
使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理
阿里云高级工程师吴超和蚂蚁集团高级软件开发工程师李亚南在云系统基础软件分论坛共同分享了使用CDl在Kubernetes/KataContainers中实现全链路GPU高效管理的议题。自 Kata Containers 3.0 推出创新性的 Dragonball VMM 和 runtime-rs 以来,我们一直在不断完善其功能。其核心之一就是增强全面支持GPU全生命周期管理。在 AI/ML 工作负载的场景中,如何方便高效地管理计算资源(如 GPU,FPGA 等)变得至关重要。然而,用户在 Kubernetes 环境中使用Kata运行这样的工作负载时,想要高效便捷地获取和使用 GPU 资源面临着重大挑战。亟需一种更全面、标准化的方法来解决这些问题。Kata Containers 通过引入 CDI,有效解决了这一问题,实现 GPU 资源的便捷获取和管理并实现AI/ML工作负载的无缝迁移。
7.JPG

(阿里云高级工程师吴超)
8.JPG

(蚂蚁集团高级软件开发工程师李亚南)
第五届CID大会聚集了业界最前沿的云计算基础架构技术成果,通过主论坛与四大技术主题分论坛,为与会者提供了一个深入了解和交流云计算基础架构技术的平台。阿里云的讲师团队通过对前沿技术与应用案例的专业解读,为参与者们带来了全新的视野和启迪。随着大会的圆满结束,云计算的未来将更加辉煌。阿里云的讲师们将继续致力于推动技术创新,携手行业共同迎接未来的挑战。我们相信,更多的创新将为各行各业注入源源不断的活力与动力。让我们共同期待下一个辉煌的时代,见证云计算带来的深远变革!

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
3天前
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
119 63
|
21天前
|
存储 XML 人工智能
深度解读AI在数字档案馆中的创新应用:高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案,通过先进的AI能力平台,实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率,确保数据安全与隐私,为档案馆提供全面、智能化的电子化管理解决方案。
136 48
|
1天前
|
人工智能 JSON 自然语言处理
智能化AI工具-语言翻译与本地化
在全球化发展的背景下,语言翻译与本地化需求日益增长。无论是跨境电商、国际合作,还是本地化应用开发,都需要高效、准确的翻译解决方案。阿里云通义千问作为一款强大的大语言模型,不仅具备出色的自然语言理解能力,还能够在多语言翻译和本地化场景中发挥重要作用。本博客将详细介绍如何基于阿里云通义千问开发语言翻译与本地化工具,包括产品介绍、程序代码以及阿里云相关产品的具体使用流程。
21 10
|
2天前
|
存储 人工智能 缓存
官宣开源 阿里云与清华大学共建AI大模型推理项目Mooncake
近日,清华大学和研究组织9#AISoft,联合以阿里云为代表的多家企业和研究机构,正式开源大模型资源池化项目 Mooncake。
|
14天前
|
人工智能 文字识别 运维
AI多模态的5大核心关键技术,让高端制造实现智能化管理
结合大模型应用场景,通过AI技术解析高端制造业的复杂设备与文档数据,自动化地将大型零件、机械图纸、操作手册等文档结构化。核心技术包括版面识别、表格抽取、要素抽取和文档抽取,实现信息的系统化管理和高效查询,大幅提升设备维护和生产管理的效率。
|
19天前
|
人工智能 架构师
活动火热报名中|阿里云&Elastic:AI Search Tech Day
2024年11月22日,阿里云与Elastic联合举办“AI Search Tech Day”技术思享会活动。
173 9
|
14天前
|
机器学习/深度学习 人工智能 安全
AI与旅游业:旅行规划的智能助手
在数字化浪潮中,人工智能(AI)正重塑旅游业。本文探讨了AI如何通过个性化推荐、智能预测与预警、语音交互与虚拟助手、增强现实体验及可持续发展,提升旅行规划的效率、安全性和趣味性,推动旅游业创新与变革。
|
16天前
|
人工智能 自然语言处理 关系型数据库
从数据到智能,一站式带你了解 Data+AI 精选解决方案、特惠权益
从 Data+AI 精选解决方案、特惠权益等,一站式带你了解阿里云瑶池数据库经典的AI产品服务与实践。
|
17天前
|
人工智能 安全 搜索推荐
AI与能源管理:智能电网的未来
本文探讨了AI与智能电网的融合及其对能源管理的深远影响。智能电网利用先进的信息、通信和AI技术,实现电力的自主、智能化、高效管理。AI在精准预测电力需求、实时监测与故障诊断、智能能源调度、个性化能源服务和优化可再生能源利用等方面发挥关键作用,推动能源管理的高效、智能和可持续发展。
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
AI与法律行业:智能法律咨询
在科技飞速发展的今天,人工智能(AI)正逐渐渗透到法律行业,特别是在智能法律咨询领域。本文探讨了AI在智能法律咨询中的应用现状、优势及挑战,并展望了其未来发展前景。AI技术通过大数据、自然语言处理等手段,提供高效、便捷、低成本且个性化的法律服务,但同时也面临数据隐私、法律伦理等问题。未来,AI将在技术升级、政策推动和融合创新中,为用户提供更加优质、便捷的法律服务。