类目筛选
2025-02-20
695
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
695
2025-04-10
529
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
529
2025-04-16
1409
MCP 正当时：FunctionAI MCP 开发平台来了！
MCP 的价值是统一了 Agent 和 LLM 之间的标准化接口，有了 MCP Server 的托管以及开发态能力只是第一步，接下来重要的是做好 MCP 和 Agent 的集成，FunctionAI 即将上线 Agent 开发能力，敬请期待。
1,409
2025-05-01
361
ACK AI Profiling：从黑箱到透明的问题剖析
本文从一个通用的客户问题出发，描述了一个问题如何从前置排查到使用AI Profiling进行详细的排查，最后到问题定位与解决、业务执行过程的分析，从而展现一个从黑箱到透明的精细化的剖析过程。
361
2025-05-23
537
MCP Server 实践之旅第 3 站：MCP 协议亲和性的技术解析
本文将以 MCP Server 在函数计算平台的深度集成为研究载体，解构基于 SSE 长连接通信模型，剖析会话亲和、优雅升级等关键技术，揭示 Serverless 架构在 MCP 场景中的亲和性创新实践。
537
2023-09-08
714
MaxCompute半结构化数据思考与创新
本文将介绍MaxCompute在半结构化数据方面的一些思考与创新，围绕半结构化数据简析、传统方案优劣对比、MaxCompute半结构化数据解决方案、收益分析。
714