类目筛选
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
Apache RocketMQ ACL 2.0 全新升级
RocketMQ ACL 2.0 不管是在模型设计、可扩展性方面，还是安全性和性能方面都进行了全新的升级。旨在能够为用户提供精细化的访问控制，同时，简化权限的配置流程。欢迎大家尝试体验新版本，并应用在生产环境中。
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
实现企业级 MCP 服务统一管理和智能检索的实践
本文将深入剖析 MCP Server 的五种主流架构模式，并结合 Nacos 服务治理框架，为企业级 MCP 部署提供实用指南。
通义千问API：让大模型写代码和跑代码
基于前面三章的铺垫，本章我们将展示大模型Agent的强大能力。我们不仅要实现让大模型同时使用多种查询工具，还要实现让大模型能查询天气情况，最后让大模型自己写代码来查询天气情况。
一文掌握大模型提示词技巧：从战略到战术
本文将用通俗易懂的语言，带你从战略（宏观）和战术（微观）两个层次掌握大模型提示词的常见技巧，真正做到理论和实践相结合，占领 AI 运用的先机。
API 网关 OpenID Connect 实战：单点登录（SSO）如此简单
单点登录（SSO）可解决用户在多系统间频繁登录的问题，OIDC 因其标准化、简单易用及安全性等优势成为实现 SSO 的优选方案，本文通过具体步骤示例对 Higress 中开源的 OIDC Wasm 插件进行了介绍，帮助用户零代码实现 SSO 单点登录。