类目筛选
2025-04-10
541
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
541
2025-05-23
551
MCP Server 实践之旅第 3 站：MCP 协议亲和性的技术解析
本文将以 MCP Server 在函数计算平台的深度集成为研究载体，解构基于 SSE 长连接通信模型，剖析会话亲和、优雅升级等关键技术，揭示 Serverless 架构在 MCP 场景中的亲和性创新实践。
551
2024-12-06
1030
【实战干货】AI大模型工程应用于车联网场景的实战总结
本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势，以及这些技术如何应用于新能源汽车行业的车联网服务中。
1,030
2025-08-08
595
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
简介：本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享，介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展，包括AI函数集成、Join优化及未来发展方向，助力构建高效实时AI管道。
595
2024-05-15
102433
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,433
2024-05-15
109994
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
109,994
