大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
政采云基础架构团队技术专家朱海峰介绍了业务网关项目的背景和解决方案。
本文详细介绍了阿里云应用服务器如何助力传统J2EE应用实现智能化升级。文章分为三部分：第一部分阐述了传统J2EE应用在智能化转型中的痛点，如协议鸿沟、资源冲突和观测失明；第二部分展示了阿里云应用服务器的解决方案，包括兼容传统EJB容器与微服务架构、支持大模型即插即用及全景可观测性；第三部分则通过具体步骤说明如何基于EDAS开启J2EE应用的智能化进程，确保十年代码无需重写，轻松实现智能化跃迁。
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
