苹果多模态模型大升级!文本密集、多图理解,全能小钢炮

简介: 苹果公司近日发布了其最新版本的多模态模型MM1.5,该模型在文本密集图像理解、视觉引用和定位以及多图推理等方面进行了显著升级。MM1.5基于MM1模型,具备更强的文本处理、视觉理解和多图推理能力,适用于多种下游任务。此外,还推出了专门用于视频理解和移动UI理解的变体。

在人工智能领域,多模态大型语言模型(MLLMs)是近年来的热门研究方向。这些模型旨在整合文本和图像信息,实现更全面的理解和生成能力。作为该领域的先驱之一,苹果公司近日发布了其最新版本的多模态模型MM1.5,该模型在文本密集图像理解、视觉引用和定位以及多图推理等方面进行了显著升级。

MM1.5是苹果公司在MM1模型基础上的一次重大升级。与前代相比,MM1.5在多个方面表现出色:

  1. 文本密集图像理解:MM1.5能够处理包含大量文本的图像,如文档、图表等。通过结合高质量的OCR数据和合成字幕,MM1.5能够准确理解图像中的文本内容,并在回答问题时引用这些文本。

  2. 视觉引用和定位:MM1.5不仅能够理解图像中的文本,还能够理解视觉提示,如点和边界框。这使得MM1.5能够生成与图像内容紧密相关的回答,并引用图像中的特定区域。

  3. 多图推理:MM1.5受益于大规模的交错预训练,具备出色的多图推理能力。通过在额外的高质量多图数据上进行监督微调,MM1.5的多图推理能力得到了进一步提升。

MM1.5的模型规模从10亿到30亿参数不等,包括密集模型和混合专家(MoE)变体。这些模型旨在在各种下游任务上表现出色,包括一般领域、文本密集图像理解、粗粒度和细粒度理解以及单图和多图推理。

此外,MM1.5还推出了两个专门的变体:MM1.5-Video,用于视频理解;MM1.5-UI,用于移动UI理解。这些变体针对特定的下游应用进行了优化,以满足不同领域的需求。

MM1.5的训练策略以数据为中心,系统地探索了不同数据混合对模型训练生命周期的影响。这包括使用高质量的OCR数据和合成字幕进行连续预训练,以及使用优化的视觉指令微调数据混合进行监督微调。

在数据选择方面,MM1.5注重高质量的数据,包括文本密集的OCR数据和高质量的合成图像字幕。这些数据源的选择有助于提高模型在文本密集图像理解和多图推理方面的性能。

为了评估MM1.5的性能,研究人员进行了广泛的实验和消融研究。这些实验涵盖了各种下游任务,包括一般领域、文本密集图像理解、视觉引用和定位以及多图推理。

在实验中,MM1.5表现出色,在多个任务上取得了显著的性能提升。例如,MM1.5在MathVista、DocVQA和InfoVQA等知识密集型基准测试中取得了显著的分数提升。此外,MM1.5还表现出了出色的多图推理能力,例如在MuirBench等多图任务上取得了显著的性能提升。

然而,尽管MM1.5在多个方面表现出色,但仍然存在一些限制。例如,MM1.5在处理某些知识密集型任务时可能仍然存在挑战,如在处理复杂的科学问题或数学问题时。此外,MM1.5的训练数据主要来自公开数据集,可能无法涵盖所有可能的下游应用场景。

论文地址:https://arxiv.org/pdf/2409.20566

目录
打赏
0
3
3
1
396
分享
相关文章
高考理科题AI秒解!昆仑万维开源多模态推理模型 Skywork-R1V 2.0
Skywork-R1V 2.0是昆仑万维最新开源的多模态推理模型,通过混合强化学习和多模态奖励模型实现复杂推理任务,在理科题目解答和科研分析中展现出色性能。
146 11
高考理科题AI秒解!昆仑万维开源多模态推理模型 Skywork-R1V 2.0
OpenAI 最新多模态图像生成模型 GPT-image-1:一句话生成商业图+智能修图
GPT-image-1是OpenAI推出的新一代多模态图像生成模型,通过API提供专业级图像生成与编辑能力,支持多种分辨率、格式和艺术风格定制。
155 10
OpenAI 最新多模态图像生成模型 GPT-image-1:一句话生成商业图+智能修图
多模态模型卷王诞生!InternVL3:上海AI Lab开源78B多模态大模型,支持图文视频全解析!
上海人工智能实验室开源的InternVL3系列多模态大语言模型,通过原生多模态预训练方法实现文本、图像、视频的统一处理,支持从1B到78B共7种参数规模。
223 6
多模态模型卷王诞生!InternVL3:上海AI Lab开源78B多模态大模型,支持图文视频全解析!
AI 搜索开放平台重磅发布:Qwen3 模型上线啦
阿里云AI搜索开放平台重磅发布最新Qwen3模型,为企业和开发者提供全栈智能搜索解决方案。Qwen3作为最新一代大模型,在推理、多语言支持和Agent能力上表现卓越。用户可通过三步快速体验Qwen3服务,助力业务在AI时代抢占先机。
178 12
qwen模型 MindIE PD分离部署问题定位
使用MindIE提供的PD分离特性部署qwen2-7B模型,使用k8s拉起容器,参考这个文档进行部署:https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0060.html,1个Prefill,1个Decode。 最后一步测试推理请求的时候,出现报错:model instance has been finalized or not initialized。
68 1
SmolDocling:256M多模态小模型秒转文档!开源OCR效率提升10倍
SmolDocling 是一款轻量级的多模态文档处理模型,能够将图像文档高效转换为结构化文本,支持文本、公式、图表等多种元素识别,适用于学术论文、技术报告等多类型文档。
255 1
SmolDocling:256M多模态小模型秒转文档!开源OCR效率提升10倍
阶跃星辰推出新一代多模态推理模型 Step-R1-V-Mini:视觉+数学+代码全能王
Step-R1-V-Mini是阶跃星辰推出的多模态推理模型,采用PPO强化学习策略,在视觉推理、数学求解和代码生成等任务中表现优异,支持图文输入与文字输出。
78 0
阶跃星辰推出新一代多模态推理模型 Step-R1-V-Mini:视觉+数学+代码全能王
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。
151 20
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
SmolVLM:资源受限环境下的高效多模态模型研究
SmolVLM是一系列专为资源受限设备多模态模型,通过优化架构与训练策略,在图像和视频处理任务中表现出接近大型模型的性能。该系列包含三种变体:SmolVLM-256M、500M和2.2B,分别适用于极端边缘计算、中等资源设备及高端边缘系统。研究探索了视觉与语言组件间的参数分配、高效视觉信息传递机制、视频编码策略等关键技术,并在多个基准测试中展现出卓越性能。SmolVLM不仅在计算效率和内存占用上具有显著优势,还在设备端部署中表现出高吞吐量和广泛适用性,适用于智能手机、笔记本电脑以及专业领域如文档理解与生物医学视觉问答等场景。论文由Ritvik Rastogi发布,详细探讨了模型设计与实验结果。
50 3
SmolVLM:资源受限环境下的高效多模态模型研究
阿里云AI Stack全量适配Qwen3模型,企业级部署效率全面升级
2025年4月29日的凌晨5点,阿里全新一代模型通义千问Qwen3正式发布并全部开源8款「混合推理模型」,包含: 6款Dense模型:0.6B、1.7B、4B、8B、14B、32B。 2款MoE模型:Qwen3-30B-A3B和旗舰版Qwen3-235B-A22B。 阿里云AI Stack已适配全量Qwen3模型,可快速部署实现Qwen3模型的开箱即用!
110 4
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等