本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
Koordinator v1.4 正式发布！为用户带来更多的计算负载类型和更灵活的资源管理机制
DataphinV3.14支持传统数据库调用，带来全新高效研发体验，及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。
随着大模型能力越来越强大，利用大语言模型进行智能答疑已经成为了一个非常普遍和常见的场景。然而，各个产品或业务方要能够准确有效地进行答疑，仅依靠大模型的通用能力是远远不够的，这时候利用私有领域FAQ文档进行大模型的检索增强生成往往可以有效解决上述问题。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
口腔治疗+函数计算=效率提升🚀 领健作为业界领先的口腔机构，面向口腔诊所提供正畸算法，但早期的算法部署遇到较多问题，因此在对比了阿里云的多个云产品之后，最终选择了函数计算。 通过将 GPU 计算负载放到函数计算，领健技术团队达到了很好的降本效果，相比早前的按月持有 GPU 资源，函数计算的费用降低了 90% 左右，并大大提升了使用体验，实现了前所未有的敏捷性和效率。
区别于传统的流水线工具，本实验将带你体验云效应用交付平台 AppStack，从应用视角，完成一个 AI 聊天应用的高效交付。