# GPU云服务器 #
1
关注
7893内容
Tair：基于KV缓存的推理加速服务
Tair 是阿里云基于KV缓存的推理加速服务，旨在优化大模型推理过程中的性能与资源利用。内容分为三部分：首先介绍大模型推理服务面临的挑战，如性能优化和服务化需求；其次讲解Nvidia TensorRT-LLM推理加速库的特点，包括高性能、功能丰富和开箱即用；最后重点介绍基于KVCache优化的推理加速服务，通过Tair的KV缓存技术提升推理效率，特别是在处理长上下文和多人对话场景中表现出色。整体方案结合了硬件加速与软件优化，实现了显著的性能提升和成本降低。
AnalyticDB MySQL版：云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库，支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓，适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成，支持流批一体架构和物化视图等功能，帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度，AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能，并结合AI技术提升数据价值挖掘能力。
MiniMax云上AI数据湖最佳实践
本简介介绍MiniMax云上AI数据湖的最佳实践。MiniMax成立于2021年，专注于通用人工智能领域，提供ToB和C端产品。面对每日3万亿token、2000万张图片及7万小时语音数据的处理需求，MiniMax基于阿里云构建了稳定灵活的基础设施，采用多云策略实现全球化部署。通过引入Kubernetes、Ray等技术，优化了多模态数据处理效率，并利用对象存储与数据湖技术降低成本。此外，与阿里云合作开发边缘缓存方案，提升跨地域数据传输效率。主讲人：阿里云弹性计算技术专家高庆端。
面向AI的存储软硬结合实践和创新
本次分享的主题是面向AI的存储软硬结合实践和创新，由阿里云智能集团专家袁茂军、王正勇和常存银主讲。内容涵盖三大板块：自研存储部件设计及实践、自研存储服务器设计及实践、以及面向AI场景的存储软硬一体解决方案及实践。重点介绍AliFlash系列存储部件的演进与优化，包括QLC SSD的设计挑战与解决方案，并探讨了高性能存储服务器在AI场景中的应用与未来发展方向。通过软硬件深度融合，旨在提升AI业务的性能与效率，降低总拥有成本（TCO）。
面向AGI时代的数据存储、管理与应用
本次分享由阿里云智能集团解决方案架构师王太平主讲，主题为面向AGI时代的数据存储、管理与应用。内容涵盖AGI的演进、人工智能发展的关键因素、开发框架对存储基础设施的挑战、数据预处理、大数据训练、微调、推理及落地过程。重点讨论了阿里云在数据存储和管理方面的设计与实践，包括高性能存储、成本优化和数据安全检测等功能，旨在应对AI时代的复杂需求。
加速大语言模型推理：NVIDIATensorRT-LLM更新
本次分享由NVIDIA亚太区资深总监李曦鹏主讲，聚焦于加速大语言模型推理的挑战与解决方案。内容涵盖大模型推理优化、性能提升策略及KVCash在用户请求处理中的应用。通过TensorRT-LLM的更新，NVIDIA提供了高性能推理引擎和多种优化技术，如KVCache优化、InflightBatching等，大幅提升了大模型的推理效率。此外，还介绍了与魔搭社区的合作，支持超过50个主流模型的一键部署，显著降低了使用门槛和成本。
AI 原生应用开发实战营
内容主题是 AI 原生应用的趋势与实践，由主要负责阿里云上消息产品线的技术与业务相关事宜的阿里云消息团队负责人、Apache Rocket MQ 社区的联合创始人隆基（花名林清山）分享。主要分为三部分：
1. AI 原生应用趋势和实践
2. AIGC 趋势下的智能编码探索与企业侧实践
3. 掌控你的 Java 智能体应用
现身说法，AI小白的大模型学习路径
写这篇文章的初衷：作为一个AI小白，把我自己学习大模型的学习路径还原出来，包括理解的逻辑、看到的比较好的学习材料，通过一篇文章给串起来，对大模型建立起一个相对体系化的认知，才能够在扑面而来的大模型时代，看出点门道。
AI 场景下，函数计算 GPU 实例模型存储最佳实践
当前，函数计算 FC 已被广泛应用在各种 AI 场景下，函数计算支持通过使用容器镜像部署 AI 推理应用，并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用，并快速解决不同场景下的模型存储选型问题，本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析，以期为您的模型存储决策提供帮助。
阿里云 Confidential Al 最佳实践
本次分享的主题是阿里云 Confidential AI 最佳实践
，由阿里云乾越分享。
1. 需求背景介绍
2. 大规模场景下面临的系统及安全风险
3. 计算栈的共享职责模型与用户信任边界的冲突
4. 传统计算、存储和网络安全技术中存在用户信任成本较高的问题
5. Confidential AI 方案实施模式
6. 基于CAI技术的阿里云Confidential Cloud Computing架构
7. Confidential AI on EGS DEMO
8. 阿里云全面应用Confidential AI
9. 完备的机密计算远程证明过程
10.发布《机密计算保障人工智能系统安全研究报告
免费试用