本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
Koordinator v1.4 正式发布！为用户带来更多的计算负载类型和更灵活的资源管理机制
随着大模型能力越来越强大，利用大语言模型进行智能答疑已经成为了一个非常普遍和常见的场景。然而，各个产品或业务方要能够准确有效地进行答疑，仅依靠大模型的通用能力是远远不够的，这时候利用私有领域FAQ文档进行大模型的检索增强生成往往可以有效解决上述问题。
本文介绍了Higress，一个支持基于WebAssembly (WASM) 的边缘计算网关，它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。
在本文中，作者探讨了ZooKeeper（ZK）的一个内存占用问题，特别是当有大量的Watcher和ZNode时，导致的内存消耗。