vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的 AI 浪潮下，网关又会迸发怎样新的形态。
本文将通过阿里云开源的 Golang Agent，帮助用户实现“一行代码都不改”就能获取到应用产生的各种观测数据，同时提升运维团队和研发团队的幸福感。
本文章旨在帮助读者了解并掌握大模型多模态技术的实际应用，特别是如何构建基于多模态的实用场景。文档通过几个具体的多模态应用场景，如拍立淘、探一下和诗歌相机，展示了这些技术在日常生活中的应用潜力。
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
无论是使用 Nacos-Controller 实现配置的双向同步，还是直接在应用中接入 Nacos SDK 以获得更高级的配置管理特性，都能显著提升配置管理的灵活性、安全性和可维护性。使用 Nacos，您能够更好地管理和优化您的应用配置，从而提高系统的稳定性和可靠性。
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。