本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
流量回放技术在性能测试和故障排除中至关重要。传统工具如 GoReplay、Tcpreplay 等存在高权限、配置复杂、登录态失效等痛点。PTS 推出基于 Access Log 的流量回放功能，自动生成压测场景，解决传统工具痛点，操作简单，一起来了解下吧~
目标读者数字化系统开发运维（DevOps）工程师、稳定性工程师（SRE）、可观测平台运维人员等。背景介绍日志的形式往往多种多样，如果只是简单的读入日志数据，将很难进行搜索、分析及可视化。将原始的日志数据解析为结构化的数据，将大幅提升数据的可用性，方便用户进行快捷的“字段-值”的查询和分析。最基础的解...
前言树苗科技公司业务上云2年有余，随着技术的不断发展。运维团队支持业务变更配置、开资源、删资源等过程加班到深夜一两点已是家常便饭。为了进一步提升工作效率，运维总监张三决定对当前业务交付路径进行统一梳理，借助IaC的理念和Terraform自动化工具逐步实施运维生产自动化，改善组内成员频繁加班且重复劳...
本文基于阿里云技术服务团队和产研团队，在解决易易互联使用 MSE（微服务引擎）产品无损上线功能所遇到问题的过程总结而成。本文将从问题和解决方法谈起，再介绍相关原理，后进一步拓展到对微服务引擎和云原生网关无损上线能力的介绍。
本文是[全景剖析容器网络数据链路]第一部分，主要介绍Kubernetes Flannel模式下，数据面链路的转转发链路
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
