类目筛选
Koordinator 助力云原生应用性能提升，小红书混部技术实践
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
使用智能媒体生产ICE剪辑OSS视频文件
本篇介绍智能媒体生产ICE一些常见场景，如裁剪、拼接、字幕、ASR等，通过一些时间线示例，介绍如何快速剪辑OSS上的视频文件。
全链路追踪 & 性能监控，GO 应用可观测全面升级
当前，大多数面向 Golang 应用的监控能力主要是通过 SDK 方式接入，需要开放人员手动进行埋点，会存在一定问题。对此，可观测 Go Agent 应运而生。本文介绍的阿里云可观测 Go Agent 方案，能通过无侵入的方式实现应用监控能力。
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化，尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同，湖仓一体架构通过将数据存储和处理融为一体，不仅提升了数据访问速度和处理效率，还简化了数据管理流程，降低了资源成本。企业可以更轻松地实现数据治理和分析，从而快速决策。paimon是国内开源的，也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
