类目筛选
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
Spring Cloud Alibaba 集成分布式定时任务调度功能
Spring Cloud Alibaba 发布了 Scheduling 任务调度模块 [#3732]提供了一套开源、轻量级、高可用的定时任务解决方案，帮助您快速开发微服务体系下的分布式定时任务。
Spring Cloud+Nacos+KMS 动态配置最佳实践
本文讲述了 Spring Cloud 应用中结合 Nacos 实现了运行期配置动态更新的功能，以及在此基础上结合 KMS 在不改动代码的情况下对应用使用的敏感配置进行保护，解决将配置迁移到 Nacos 中可能存在的数据安全顾虑，并对其底层工作原理做了简单介绍。
SpringCloud 应用 Nacos 配置中心注解
在 Spring Cloud 应用中可以非常低成本地集成 Nacos 实现配置动态刷新，在应用程序代码中通过 Spring 官方的注解 @Value 和 @ConfigurationProperties，引用 Spring enviroment 上下文中的属性值，这种用法的最大优点是无代码层面侵入性，但也存在诸多限制，为了解决问题，提升应用接入 Nacos 配置中心的易用性，Spring Cloud Alibaba 发布一套全新的 Nacos 配置中心的注解。
IngressNightmare：Ingress Nginx 再曝5个安全漏洞，可接管你的 K8s 集群
是否还记得 2022 年 K8s Ingress Nginx 披露了的 3 个高危安全漏洞（CVE-2021-25745, CVE-2021-25746, CVE-2021-25748），并在那一年宣布停止接收新功能 PR，专注修复并提升稳定性。
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
