类目筛选
大模型无缝切换，QwQ-32B和DeepSeek-R1 全都要
通义千问最新推出的QwQ-32B推理模型，拥有320亿参数，性能媲美DeepSeek-R1（6710亿参数）。QwQ-32B支持在小型移动设备上本地运行，并可将企业大模型API调用成本降低90%以上。本文介绍了如何通过Higress AI网关实现DeepSeek-R1与QwQ-32B之间的无缝切换，涵盖环境准备、模型接入配置及客户端调用示例等内容。此外，还详细探讨了Higress AI网关的多模型服务、消费者鉴权、模型自动切换等高级功能，帮助企业解决TPS与成本平衡、内容安全合规等问题，提升大模型应用的稳定性和效率。
【AAAI 2024】MuLTI：高效视频与语言理解
多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。
10 分钟打造你的专属 AI 客服
在这个数字化时代，提供卓越的客户服务已成为企业脱颖而出的关键。为了满足这一需求，越来越多的企业开始探索人工智能（AI）助手的应用，以实现全天候（7x24）的客户咨询响应，全面提升用户体验和业务竞争力。本解决方案通过函数计算FC 和大模型服务平台百炼，为您提供一个高效便捷构建 AI 助手思路。
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办，阿里云飞天洛神云网络首次中稿NSDI，两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen，基于Tofino、FPGA和CPU的新型硬件形态，将公有云VPC设施部署到边缘机柜中，实现小型化、低成本和高性能。该方案使成本降低75%，空间占用减少87%，并提供1.2Tbps吞吐量，展示了强大的技术竞争力。
MCP Server 实践之旅第 3 站：MCP 协议亲和性的技术解析
本文将以 MCP Server 在函数计算平台的深度集成为研究载体，解构基于 SSE 长连接通信模型，剖析会话亲和、优雅升级等关键技术，揭示 Serverless 架构在 MCP 场景中的亲和性创新实践。
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。