类目筛选
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
Higress 全新 Wasm 运行时，性能大幅提升
本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。
Apache RocketMQ ACL 2.0 全新升级
RocketMQ 作为一款流行的分布式消息中间件，被广泛应用于各种大型分布式系统和微服务中，承担着异步通信、系统解耦、削峰填谷和消息通知等重要的角色。随着技术的演进和业务规模的扩大，安全相关的挑战日益突出，消息系统的访问控制也变得尤为重要。然而，RocketMQ 现有的 ACL 1.0 版本已经无法满足未来的发展。因此，我们推出了 RocketMQ ACL 2.0 升级版，进一步提升 RocketMQ 数据的安全性。本文将介绍 RocketMQ ACL 2.0 的新特性、工作原理，以及相关的配置和实践。
Higress 重磅更新：AI 能力全面开源，云原生能力再升级
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
一文梳理我们是如何打造出国内领先的 AI 编程助手「通义灵码」
大语言模型的革命性突破使智能编程成为了可能，通义灵码正是基于通义大模型打造的 AI 编程助手，通过 IDE 插件的形式提供代码补全、单元测试生成等功能，能达到毫秒级的响应速度。目前，通义灵码已在阿里云内部及多家企业中应用，阿里云也在探索多智能体产品，即 AI 程序员，助力数字世界的蓬勃发展，颠覆 IT 生产力。
Spring Cloud+Nacos+KMS 动态配置最佳实践
本文讲述了 Spring Cloud 应用中结合 Nacos 实现了运行期配置动态更新的功能，以及在此基础上结合 KMS 在不改动代码的情况下对应用使用的敏感配置进行保护，解决将配置迁移到 Nacos 中可能存在的数据安全顾虑，并对其底层工作原理做了简单介绍。
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
Nacos托管LangChain应用Prompts和配置，助力你的AI助手快速进化
AI 应用开发中，总有一些让人头疼的问题：敏感信息（比如 API-KEY）怎么安全存储？模型参数需要频繁调整怎么办？Prompt 模板改来改去，每次都得重启服务，太麻烦了！别急，今天我们就来聊聊如何用 Nacos 解决这些问题。