类目筛选
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
QwQ-32B一键部署，真正的0代码，0脚本，0门槛
阿里云发布的QwQ-32B模型通过强化学习显著提升了推理能力，核心指标达到DeepSeek-R1满血版水平。用户可通过阿里云系统运维管理（OOS）一键部署OpenWebUI+Ollama方案，轻松将QwQ-32B模型部署到ECS，或连接阿里云百炼的在线模型。整个过程无需编写代码，全部在控制台完成，适合新手操作。
大模型无缝切换，QwQ-32B和DeepSeek-R1 全都要
通义千问最新推出的QwQ-32B推理模型，拥有320亿参数，性能媲美DeepSeek-R1（6710亿参数）。QwQ-32B支持在小型移动设备上本地运行，并可将企业大模型API调用成本降低90%以上。本文介绍了如何通过Higress AI网关实现DeepSeek-R1与QwQ-32B之间的无缝切换，涵盖环境准备、模型接入配置及客户端调用示例等内容。此外，还详细探讨了Higress AI网关的多模型服务、消费者鉴权、模型自动切换等高级功能，帮助企业解决TPS与成本平衡、内容安全合规等问题，提升大模型应用的稳定性和效率。
Higress × OpenKruiseGame 游戏网关最佳实践
本文将演示 Higress 如何无缝对接 OKG 游戏服，并为其带来的优秀特性。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
【AAAI 2024】MuLTI：高效视频与语言理解
多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。