本文整理自阿里云智能集团资深技术专家，云原生产品线中间件负责人谢吉宝（唐三）在云栖大会的精彩分享。讲师深入浅出的分享了软件架构演进过程中，网关所扮演的各类角色，AI 应用的流量新特征对软件架构和网关所提出的新诉求，以及基于阿里自身实践所带来的开源贡献和商业能力。
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
ARMS RUM 是阿里云应用实时监控服务（ARMS）下的用户体验监控（RUM）产品，覆盖 Web/H5、各类平台小程序、Android、iOS、Flutter、ReactNative、Windows、macOS 等平台框架。接入 SDK 后会主动采集端侧页面性能、资源加载、API 调用、异常崩溃、卡顿、用户操作、系统信息等数据，还支持事件、日志、异常等数据按需自定义上报以满足业务数据分析需求，提供全面的性能分析、异常分析、产品分析、会话分析能力，帮助快速跟踪定位问题原因，提升产品用户使用体验。
本文主要学习 RocketMQ 的一致性特性，一致性对于交易、金融都是刚需。从大规模复杂业务出发，学习 RocketMQ 的 SQL 订阅、定时消息等特性。再从高可用的角度来看，这里更多的是大型公司对于高阶可用性的要求，如同城容灾、异地多活等。
超算快速弹性伸缩场景下，如何构建一套准确、快速、可靠的监控体系成为关键点。阿里云在超算场景的主机监控落地实践，解决超算场景面临的挑战，交付一套可靠和全面的主机监控体系。