vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。
介绍SLS在可观测数据融合分析的一系列技术升级，融合Trace、全栈监控、Continuous Profiling、移动端监控等功能，帮助大家更快速地构筑全栈、自动化的观测能力。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
本文主要以一个Java工程师视角，阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架（类比AI的操作系统）。
区别于传统的流水线工具，本实验将带你体验云效应用交付平台 AppStack，从应用视角，完成一个 AI 聊天应用的高效交付。
本文介绍了AutoMQ基于Regional ESSD构建的十倍降本云原生，降低成本并提供无限容量，通过将存储层分离，使用ESSD作为WAL，OSS作为主存储，实现了成本降低和性能优化。此外，它利用弹性伸缩和抢占式实例，减少了70%的计算成本，并通过秒级分区迁移实现了高效弹性。而且，AutoMQ与Apache Kafka相比，能实现10倍成本优化和百倍弹性效率提升，且完全兼容Kafka API。