大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
文章介绍了GPT-Sovits，一个开源的生成式语音模型，因其在声音克隆上的高质量和简易性而受到关注。阿里云函数计算（Function Compute）提供了一个快速托管GPT-Sovits的方法，让用户无需管理服务器即可体验和部署该模型。通过函数计算，用户可以便捷地搭建基于GPT-Sovits的文本到语音服务，并享受到按需付费和弹性扩展的云服务优势。此外，文章还列举了GPT-Sovits在教育、游戏、新能源等多个领域的应用场景，并提供了详细的步骤指导，帮助用户在阿里云上部署和体验GPT-Sovits模型。
Apache Paimon V0.9 版本即将发布，此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长，已成为Apache顶级项目，并广泛应用于阿里集团内外的多家企业。
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
为应对分布式云多集群监控的挑战，阿里云可观测监控 Prometheus 版结合 ACK One，凭借高效纳管与全局监控方案有效破解了用户在该场景的监控运维痛点，为日益增长的业务需求提供了一站式、高效、统一的监控解决方案，实现成本与运维效率的双重优化。助力企业的数字化转型与业务快速增长，在复杂多变的云原生时代中航行，提供了一个强有力的罗盘与风帆。
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
