类目筛选
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
1分钟集成DeepSeek满血版！搭建智能运维助手
阿里云 AI 搜索开放平台面向企业及开发者提供丰富的组件化AI搜索服务，本文将重点介绍基于AI搜索开放平台内置的 DeepSeek-R1 系列大模型，如何搭建 Elasticsearch AI Assistant。
架构革新：揭示卓越性能与高可扩展的共赢秘诀
为了构建现代化的可观测数据采集器LoongCollector，iLogtail启动架构通用化升级，旨在提供高可靠、高可扩展和高性能的实时数据采集和计算服务。然而，通用化的过程总会伴随性能劣化，本文重点介绍LoongCollector的性能优化之路，并对通用化和高性能之间的平衡给出见解。
基于阿里云服务网格流量泳道的全链路流量管理（三）：无侵入式的宽松模式泳道
本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案，并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道，这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时，我们还介绍了新的基于权重的流量引流策略，这种策略可以基于统一的流量匹配规则，将匹配到的流量以设定好的比例分发到不同的流量泳道。
部署高可用WordPress网站
高可用服务是另外一个高频使用的场景，编写模板的流程和《部署单点WordPress网站》一样，但涉及的资源更多一些。本文以《部署高可用WordPress网站》为例，介绍高可用部署类的模板如何编写。
ROS CDK魔法书：点亮博客上云新技能（Python篇）
ROS（Resource Orchestration Service）是阿里云的资源编排服务，通过模板定义资源和依赖关系。CDK中的Asset模块扮演关键角色，将本地文件转化为云资产，方便上传至OSS（Object Storage Service）存储。OSS是一个云存储服务，能安全存储大量数据，并支持高效访问。通过ROS CDK，开发者可以将本地的Next.js博客项目打包并部署到OSS，实现静态网站的云托管。部署过程包括初始化项目、安装依赖、定义资源、打包博客代码和使用CDK部署到OSS。通过这种方式，开发者可以利用ROS CDK的自动化能力，高效地管理和更新云上资源。