大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
云防火墙可以帮助用户在云上实现业务隔离和防护，确保业务安全和满足合规要求，如果您在购买云防火墙不知道如何使用，本文将从业务介绍新手如何结合业务更好的使用云防火墙。
经过前面两章的学习，小玉已经熟练掌握分布式链路追踪的基础用法，比如回溯链路请求轨迹，定位耗时瓶颈点；配置核心接口黄金三指标告警，第一时间发现流量异常；大促前梳理应用上下游关键依赖，联系相关方协同备战等等。随...
本文主要介绍通过KMS密钥管理服务产生的密钥对敏感的AK等数据进行加密之后可以有效解决泄漏带来的安全风险问题，其次通过KMS凭据托管的能力直接将MSE的主AK进行有效管理，保障全链路无AK的业务体验，真正做到安全、可控。
