# GPU云服务器 #
1
关注
7923内容
GPU安全容器面临的问题和挑战
本次分享由阿里云智能集团弹性计算高级技术专家李亮主讲，聚焦GPU安全容器面临的问题与挑战。内容分为五个部分：首先介绍GPU安全容器的背景及其优势；其次从安全、成本和性能三个维度探讨实践中遇到的问题及应对方案；最后分享GPU安全容器带状态迁移的技术路径与应用场景。在安全方面，重点解决GPU MMIO攻击问题；在成本上，优化虚拟化引入的内存开销；在性能上，提升P2P通信和GPU Direct的效率。带状态迁移则探讨了CRIU、Hibernate及VM迁移等技术的应用前景。
分布式大模型训练的性能建模与调优
阿里云智能集团弹性计算高级技术专家林立翔分享了分布式大模型训练的性能建模与调优。内容涵盖四大方面：1) 大模型对AI基础设施的性能挑战，强调规模增大带来的显存和算力需求；2) 大模型训练的性能分析和建模，介绍TOP-DOWN和bottom-up方法论及工具；3) 基于建模分析的性能优化，通过案例展示显存预估和流水线失衡优化；4) 宣传阿里云AI基础设施，提供高效算力集群、网络及软件支持，助力大模型训练与推理。
深度揭秘超长序列生成任务训练技术
阿里自研的TorchAcc训练引擎提出了超长序列训练方案FlashSequence，针对超长文本理解、视频生成等场景。通过2D Context Parallel和Hybrid FSDP混合分布式策略，结合显存、计算和通信优化，实现了百万级别超长序列模型的高效训练。FlashSequence在算力、显存需求及分布式训练方面进行了多项创新，性能提升显著，最大可达48%。该方案大幅降低了企业创新成本，提升了业务应用的可能性。
云上AI Infra解锁大模型创新应用
本节课程由阿里云智能集团资深技术专家王超分享，主题为AI基础设施的发展趋势。课程聚焦于AI Infra设计与Scaling Law，探讨了下一代AI基础设施的设计目标、功能升级及推理场景中的应用。主要内容包括高效支持大规模模型训练和推理、全球调度系统的设计、Rack level的Scale优化以及多租户容器化使用方式。通过这些改进，旨在提升并行效率、资源利用率及稳定性，推动AI基础设施迈向更高性能和更优调度的新阶段。
大模型训练稳定性思考和实践
本次分享由阿里云智能集团高级技术专家张彭城主讲，聚焦大模型训练的稳定性问题。主要内容分为三部分：1) 大模型训练稳定性的关键挑战，包括大规模同步任务中的故障率高和恢复成本大；2) 阿里云大模型训练稳定性系统的介绍，涵盖健康检测、实时可观测系统及自愈系统；3) 实践分享，探讨集群网络故障定位与修复、性能优化等实际问题的解决方案。通过这些措施，确保大模型训练的高效与稳定。
并行文件存储在大模型训练中的探索与实践
阿里云智能集团存储产品专家何邦剑分享了并行文件存储CPFS在大模型训练中的应用。CPFS针对大模型训练的IO特点，优化性能、降低成本、提升用户体验。它支持多计算平台共享访问，具备数据分层存储、生命周期管理、缓存加速等特性，实现高效的数据处理与管理，显著提升训练效率和资源利用率。尤其在大规模集群中，CPFS提供了高吞吐、低延迟及灵活扩展的能力，助力客户如零一万物实现高性能训练。
云数据库Tair：从稳定低延时缓存到 Serverless KV
本次分享聚焦云数据库Tair的使用，涵盖三部分内容：1) Tair概览，介绍其作为稳定低延时缓存及KV数据库服务的特点和优势；2) 稳定低延迟缓存技术，探讨如何通过多线程处理、优化内核等手段提升性能与稳定性；3) 从缓存到Serverless KV的演进，特别是在AI大模型时代，Tair如何助力在线服务和推理缓存加速。Tair在兼容性、性能优化、扩缩容及AI推理加速方面表现出色，满足不同场景需求。
MNN推理框架将大模型放进移动端设备，并达到SOTA推理性能！
随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。
CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
新加坡国立大学推出的CLEAR线性注意力机制，通过局部注意力窗口设计，显著提升了预训练扩散变换器生成高分辨率图像的效率，生成8K图像时提速6.3倍。
免费试用