类目筛选
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
基于 EventBridge 构筑 AI 领域高效数据集成方案
本文深入探讨了AI时代数据处理的变革与挑战，分析了事件驱动架构（EventBridge）在AI数据处理中的技术优势，并结合实践案例，展示了其在多源数据接入、向量数据库优化、智能数据转换等方面的应用价值。
面向全栈可观测的分布式链路追踪
全栈可观测App提供了一套完整的分析工具，从数据统计分析能力到数据关联，再到具备智能化和自动化特性的相关工具，以解决人们在可观测性方面所遇到的问题。未来，我们将持续提供更加丰富和强大的分析工具来满足用户的需求。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
使用智能媒体生产ICE剪辑OSS视频文件
本篇介绍智能媒体生产ICE一些常见场景，如裁剪、拼接、字幕、ASR等，通过一些时间线示例，介绍如何快速剪辑OSS上的视频文件。
西游再现，一键部署 Flux 文生图大模型生成西游人物
从花果山的灵石出世，到取经路上的九九八十一难，再到大闹天宫的惊心动魄……这些耳熟能详的西游场景，如今都能通过 Flux 模型，以超乎想象的细节和真实感呈现在你眼前。本次实验在函数计算中内置的 flux.1-dev-fp8 大模型，搭配 Lora 模型，无需复杂的配置，一键部署，你就能成为这场视觉盛宴的创造者。