达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力

简介: 达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力


机器之心编辑部

纯文本大模型方兴未艾,多模态领域也开始涌现出多模态大模型工作,地表最强的 GPT-4 具备读图的多模态能力,但是迟迟未向公众开放体验,于是乎研究社区开始在这个方向上发力研究并开源。MiniGPT-4 和 LLaVA 问世不久,阿里达摩院便推出 mPLUG-Owl ,一个基于模块化实现的多模态大模型。


mPLUG-Owl 是阿⾥巴巴达摩院 mPLUG 系列的最新工作,延续了 mPLUG 系列的模块化训练思想,把 LLM 升级为一个多模态大模型。在 mPLUG 系列工作中,之前的 E2E-VLP 、mPLUG 、mPLUG-2 分别被 ACL2021 、EMNLP2022、ICML2023 录用,其中 mPLUG 工作在 VQA 榜单首超人类的成绩。



今天要介绍的是 mPLUG-Owl,该工作不仅通过大量 cases 展示出优秀的多模态能力,还第一次针对视觉相关的指令理解提出一个全⾯的测试集 OwlEval,通过人工评测对比了已有模型,包括 LLaVA 、MiniGPT-4 、BLIP-2 以及系统类 MM-REACT 等工作,实验结果表明 mPLUG-Owl 展示出更优的多模态能力,尤其在多模态指令理解能力、多轮对话能力、知识推理能力等方⾯表现突出



论文链接:https://arxiv.org/abs/2304.14178

代码链接:https://github.com/X-PLUG/mPLUG-Owl

ModelScope体验地址:

https://modelscope.cn/studios/damo/mPLUG-Owl/summary

HuggingFace体验地址:

https://huggingface.co/spaces/MAGAer13/mPLUG-Owl


多模态能力展示


我们把 mPLUG-Owl 与现有工作进行对比来感受一下 mPLUG-Owl 的多模态效果,值得一提的是,该工作中评比的测试样例基本上都来自已有工作,避免了 cherry pick 问题。


下图 6 展示了 mPLUG-Owl 很强的多轮对话能力。




从图 7 中可以发现,  mPLUG-Owl 具有很强的推理能力。




如图 9 展示了一些笑话解释例⼦。



在该工作中,除了评测对比外,该研究团队还观察到 mPLUG-Owl 初显一些意想不到的能力,比如多图关联、多语⾔、文字识别和文档理解等能力。


如图 10 所示,虽然在训练阶段并没有进行多图关联数据的训练,mPLUG-Owl 展现出了一定的多图关联能力。




如图 11 所示,尽管 mPLUG-Owl 在训练阶段仅使用了英文数据,但其展现出了有趣的多语⾔能力。这可能是因为 mPLUG-Owl 中的语⾔模型使用了 LLaMA,从而出现了这一现象。




尽管 mPLUG-Owl 没有在带有标注的文档数据上进行训练,但其仍然展现出了一定的文字识别和文档理解能力,测试结果如图 12 所示。



方法介绍


该工作提出的 mPLUG-Owl,其整体架构如图 2 所示。



模型结构:它由视觉基础模块(开源的 ViT-L)、视觉抽象模块以及预训练语⾔模型( LLaMA-7B) 组成。视觉抽象模块将较⻓的、细粒度的图像特征概括为少量可学习的 Token,从而实现对视觉信息的⾼效建模。⽣成的视觉 Token 与文本查询一起输⼊到语⾔模型中,以⽣成相应的回复。


模型训练:采用两阶段的训练方式


第一阶段:主要目的也是先学习视觉和语⾔模态间的对⻬。不同于先前的工作,  mPLUG-Owl 提出冻住视觉基础模块会限制模型关联视觉知识和文本知识的能力。  因此 mPLUG-Owl 在第一阶段只冻住 LLM 的参数,采用 LAION-400M,  COYO-700M,  CC 以及 MSCOCO 训练视觉基础模块和视觉摘要模块。


第⼆阶段:延续 mPLUG 和 mPLUG-2 中不同模态混合训练对彼此有收益的发现,Owl 在第⼆阶段的指令微调训练中也同时采用了纯文本的指令数据 (52kfrom Alpaca+90k from Vicuna+50k from Baize) 和多模态的指令数据 (150k from LLaVA)。作者通过详细的消融实验验证了引⼊纯文本指令微调在指令理解等方⾯带来的收益。第⼆阶段中视觉基础模块、视觉摘要模块和原始 LLM 的参数都被冻住,参考 LoRA,只在 LLM 引⼊少量参数的 adapter 结构用于指令微调。


实验结果


SOTA 对比


为了比较不同模型的多模态能力,该工作构建一个多模态指令评测集 OwlEval。由于⽬前并没有合适的自动化指标,参考 Self-Intruct 对模型的回复进行人工评测,打分规则为:A="正确且令人满意";B="有一些不完美,但可以接受";C="理解了指令但是回复存在明显错误";D="完全不相关或不正确的回复"。


对比结果如下图 3 所示,实验证明 Owl 在视觉相关的指令回复任务上优于已有的 OpenFlamingo 、BLIP-2 、LLaVA、MiniGPT-4。



多维度能力对比


多模态指令回复任务中牵扯到多种能力,例如指令理解、视觉理解、图⽚上文字理解以及推理等。为了细粒度地探究模型在不同能力上的⽔平,本文进一步定义了多模态场景中的 6 种主要的能力,并对 OwlEval 每个测试指令人工标注了相关的能力要求以及模型的回复中体现了哪些能力。


结果如下表格 6 所示,在该部分实验,作者既进行了 Owl 的消融实验,验证了训练策略和多模态指令微调数据的有效性,也和上一个实验中表现最佳的 baseline— MiniGPT4 进行了对比,结果显示 Owl 在各个能力方⾯都优于 MiniGPT4。


相关文章
|
3月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
194 60
|
17天前
|
人工智能 API Windows
免费部署本地AI大语言模型聊天系统:Chatbox AI + 马斯克grok2.0大模型(简单5步实现,免费且比GPT4.0更好用)
本文介绍了如何部署本地AI大语言模型聊天系统,使用Chatbox AI客户端应用和Grok-beta大模型。通过获取API密钥、下载并安装Chatbox AI、配置模型,最终实现高效、智能的聊天体验。Grok 2大模型由马斯克X-AI发布,支持超长文本上下文理解,免费且易于使用。
68 0
|
2月前
|
人工智能 测试技术 人机交互
mini-GPT4o来了? 能看、能听、会说,还情感丰富的多模态全能助手EMOVA
【10月更文挑战第24天】EMOVA(EMotionally Omni-present Voice Assistant)是一项多模态全能助手的研究,旨在实现更自然、更智能的人机交互。该模型不仅能够处理图像、文本和语音,还具备丰富的情感表达能力。通过语义-声学解耦的语音标记器、全模态对齐和轻量级风格模块,EMOVA在视觉-语言和语音基准测试中表现出色,适用于智能助手、虚拟现实、教育和娱乐等领域。
30 3
|
3月前
|
机器学习/深度学习 弹性计算 人工智能
大模型进阶微调篇(三):微调GPT2大模型实战
本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。
514 6
|
3月前
|
机器学习/深度学习 测试技术
ACL杰出论文奖:GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集,全面提升大模型心智能力
【10月更文挑战第6天】约翰斯·霍普金斯大学等机构提出了一项荣获ACL杰出论文奖的研究,旨在解决大模型在心智理论(ToM)上的不足。他们发布了首个MMToM-QA多模态ToM测试集,并提出BIP-ALM方法,从多模态数据中提取统一表示,结合语言模型进行贝叶斯逆规划,显著提升了模型的ToM能力。这一成果为机器与人类自然交互提供了新思路,尽管仍面临一些局限性和技术挑战。论文详情见:https://arxiv.org/abs/2401.08743。
53 6
|
4月前
|
数据采集 自然语言处理 监控
大模型微调使GPT3成为了可以聊天发布指令的ChatGPT
正是通过微调大模型使得GPT3成为了可以聊天发布指令的ChatGPT。聊天大模型在通用大模型的基础上加一层微调就实现人人能用的大模型,使得通用大模型的能力被更多人使用和了解。
65 4
大模型微调使GPT3成为了可以聊天发布指令的ChatGPT
|
3月前
|
开发工具 git
LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 数据 10MB数据集微调
LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 数据 10MB数据集微调
90 0
|
4月前
|
编解码 定位技术 计算机视觉
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
【9月更文挑战第2天】浙江大学领衔的研究团队针对多模态大型模型(MLLM)在抽象图像理解和视觉推理上的不足,提出了一种利用GPT-4合成数据构建多模态基准的方法。该研究通过合成数据提高了MLLM处理图表、文档等复杂图像的能力,并构建了一个包含11,193条指令的基准,涵盖8种视觉场景。实验表明,这种方法能显著提升模型性能,但依赖闭源模型和高计算成本是其局限。论文详细内容见:https://arxiv.org/pdf/2407.07053
96 10
|
5月前
|
机器学习/深度学习
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
【8月更文挑战第16天】近日,清华大学等机构发布了MultiTrust多模态评估研究,旨在全面评估大型语言模型的可信度。这是首个统一的多模态基准,覆盖真实性、安全性等五大方面,包含32个任务。研究对21个现代模型进行了实验,揭示了可信度问题和风险,强调了提高模型可靠性的重要性。结果显示开源模型在可信度上落后于专有模型,特别是在安全性方面。此外,研究还发现了模型在鲁棒性、公平性和隐私方面的挑战。论文已发布于arxiv.org。
80 1
|
5月前
|
人工智能 测试技术
真相了!大模型解数学题和人类真不一样:死记硬背、知识欠缺明显,GPT-4o表现最佳
【8月更文挑战第15天】WE-MATH基准测试揭示大型多模态模型在解决视觉数学问题上的局限与潜力。研究涵盖6500题,分67概念5层次,评估指标包括知识与泛化不足等。GPT-4o表现最优,但仍存多步推理难题。研究提出知识概念增强策略以改善,为未来AI数学推理指明方向。论文见: https://arxiv.org/pdf/2407.01284
63 1

热门文章

最新文章