vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
本文展示了 Dubbo3 triple 协议是如何简化从协议规范与实现上简化开发测试、入口流量接入成本的，同时提供高性能通信、面向接口的易用性编码。
本文将会揭秘Hologres JSONB半结构化数据的技术原理，实现JSON半结构数据的极致分析性能。
本文为您介绍如何基于Hologres向量计算能力，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切的回答，即费、快速定制专属聊天机器人。
基于PAI-DSW快速启动Stable Diffusion WebUI，创作你的专属冬日主题AI画作！
基于 Stable Diffusion Serverless API 解决方案搭建 AI 文字生成应用，支持并发出图。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
