类目筛选
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
MaxCompute ODPS重装上阵， IF ELSE分支语句
MaxCompute通过脚本模式支持IF ELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！
百亿大规模图在广告场景的应用
这篇摘要主要介绍了美团外卖在搜索推荐业务中如何利用图技术解决挑战，包括外卖广告搜索推荐业务的介绍、异构大图的演进、大规模图引擎的建设，以及系统的总结和展望。
10 分钟打造你的专属 AI 客服
在这个数字化时代，提供卓越的客户服务已成为企业脱颖而出的关键。为了满足这一需求，越来越多的企业开始探索人工智能（AI）助手的应用，以实现全天候（7x24）的客户咨询响应，全面提升用户体验和业务竞争力。本解决方案通过函数计算FC 和大模型服务平台百炼，为您提供一个高效便捷构建 AI 助手思路。
5 分钟复刻你的声音，一键实现 GPT-Sovits 模型部署
想象一下，只需简单几步操作，就能生成逼真的语音效果，无论是为客户服务还是为游戏角色配音，都能轻松实现。GPT-Sovits 模型，其高效的语音生成能力为实现自然、流畅的语音交互提供了强有力的技术支持。本文将详细介绍如何利用函数计算平台部署 GPT-Sovits 模型，以构建一个高效、可扩展的 AI 语音交互系统。通过这一部署方案，开发者和企业能够快速集成语音合成功能，实现从文本到语音的无缝转换，进而推动智能语音应用的创新和发展。
Envoy 开启 HTTP2 后偶现 404 解决方法
在大部分基于 Envoy 实现的网关里，都存在这样一个问题，当开启 http2 时，客户端访问会出现偶发的 404，并且可以从日志注意到这些 404 的请求，:authority 头里的域名和 SNI 里的域名不一致。且在使用泛域名证书，且配置了多个域名的路由的情况下，这个问题特别容易出现。
基于 API 网关践行 API First 开发实践
API First 开发模式的核心在于：以 API 为先，将其视为“头等公民”，在构建应用、服务及集成之前，应优先定义并设计 API 及其配套。API First 作为一种相对较新的开发模式，它已逐渐流行并获得业内的广泛认可。
0 代码！2 种方式，一键部署 DeepSeek 系列模型
DeepSeek 凭借其卓越的性能和广泛的应用场景，迅速在全球范围内获得了极高的关注度和广泛的用户基础。DeepSeek-R1-Distill 是使用 DeepSeek-R1 生成的样本对开源模型进行蒸馏得到的小模型，拥有更小参数规模，推理成本更低，基准测试同样表现出色。依托于函数计算 FC 算力，Serverless+ AI 开发平台 CAP 现已提供模型服务、应用模版两种部署方式辅助您部署 DeepSeek R1 系列模型。完成模型部署后，您即可与模型进行对话体验；或以 API 形式进行调用，接入 AI 应用中。欢迎您立即体验。