类目筛选
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
MCP Server的五种主流架构与Nacos的选择
本文深入探讨了Model Context Protocol (MCP) 在企业级环境中的部署与管理挑战，详细解析了五种主流MCP架构模式（直连远程、代理连接远程、直连本地、本地代理连接本地、混合模式）的优缺点及适用场景，并结合Nacos服务治理框架，提供了实用的企业级MCP部署指南。通过Nacos MCP Router，实现MCP服务的统一管理和智能路由，助力金融、互联网、制造等行业根据数据安全、性能需求和扩展性要求选择合适架构。文章还展望了MCP在企业落地的关键方向，包括中心化注册、软件供应链控制和安全访问等完整解决方案。
Post-Training on PAI (4)：模型微调SFT、DPO、GRPO
阿里云人工智能平台 PAI 提供了完整的模型微调产品能力，支持 监督微调（SFT）、偏好对齐（DPO）、强化学习微调（GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级，分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。
配置驱动的动态 Agent 架构网络：实现高效编排、动态更新与智能治理
本文所阐述的配置驱动智能 Agent 架构，其核心价值在于为 Agent 开发领域提供了一套通用的、可落地的标准化范式。
从云原生视角看 AI 原生应用架构的实践
本文核心观点： • 基于大模型的 AI 原生应用将越来越多，容器和微服务为代表的云原生技术将加速渗透传统业务。 • API 是 AI 原生应用的一等公民，并引入了更多流量，催生企业新的生命力和想象空间。 • AI 原生应用对网关的需求超越了传统的路由和负载均衡功能，承载了更大的 AI 工程化使命。 • AI Infra 的一致性架构至关重要，API 网关、消息队列、可观测是 AI Infra 的重要组成。
【算法精讲系列】通义模型Prompt调优的实用技巧与经验分享
本文详细阐述了Prompt的设计要素，包括引导语、上下文信息等，还介绍了多种Prompt编写策略，如复杂规则拆分、关键信息冗余、使用分隔符等，旨在提高模型输出的质量和准确性。通过不断尝试、调整和优化，可逐步实现更优的Prompt设计。
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
Hologres RoaringBitmap在Lazada选品平台的最佳实践
Lazada选品平台包含全网商家、商品的圈选，通过Hologres RoaringBitmap能力帮助业务突破选品池20w大小限制，6000+选品池调度完成由12h下降至1h，单个选品池调度时间由90s下降至2s。