基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
@workspace 功能发布后，我们收到了非常多新老朋友的积极反馈，其中有一个特别的朋友给我留下了深刻的印象，来分享一下他的故事。
Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型，有如下几个特点
阿里云通义灵码团队与重庆大学合作的研究论文被 FSE Industry 2024 (CCF A) 录用，该论文通过对阿里云开发的智能编码插件进行实证调查，主要探讨了在智能编码助手中的代码搜索问题，点击本文查看论文详解。