❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 模型介绍：Insight-V是由南洋理工大学、腾讯公司和清华大学联合推出的多模态模型，专注于提升长链视觉推理能力。
2. 主要功能：模型通过渐进式数据生成、多智能体系统和两阶段训练流程，显著提高了视觉推理能力。
3. 技术原理：采用渐进式长链推理数据生成、多粒度评估和迭代DPO算法，确保模型在复杂视觉推理任务中的高性能。

正文

Insight-V 是什么

Insight-V是由南洋理工大学、腾讯公司和清华大学联合推出的多模态模型，旨在提升多模态大型语言模型在长链视觉推理方面的能力。该模型通过可扩展的数据生成流程生成高质量的推理数据，并采用多智能体系统将视觉推理任务分解为推理和总结两个步骤，结合两阶段训练流程，显著提高了模型在视觉推理基准测试中的表现。

Insight-V的设计包括渐进式数据生成、多粒度评估和迭代DPO算法，确保系统在复杂的视觉推理任务中展现出卓越的性能。

Insight-V 的主要功能

• 长链视觉推理：Insight-V能够处理复杂的视觉推理任务，基于生成详细的、逐步推进的推理过程解决问题。
• 数据生成流程：系统具备可扩展的数据生成流程，用于生产长链、高质量的推理数据，支持复杂多模态任务。
• 多智能体系统：Insight-V采用多智能体架构，将视觉推理任务分解为推理和总结两个独立步骤，由专门的智能体处理。
• 两阶段训练流程：系统实施两阶段训练策略，包括监督微调和直接偏好优化（DPO），增强模型的推理能力。
• 性能提升：在多个视觉推理基准测试中，Insight-V显示出显著的性能提升，超越其他先进模型。

Insight-V 的技术原理

• 渐进式长链推理数据生成：基于强大的多模态模型收集单步推理结果，根据历史推理结果生成下一步推理动作。
• 多粒度评估：用真实答案过滤推理数据，排除最终答案错误的数据。用推理步骤打分模型对推理数据的质量进行打分，将数据分为不同质量的子集。
• 模型设计：专门生成详细、逐步的推理过程。适应推理路径中的不准确之处，有选择性地纳入或忽略某些元素。
• 训练策略：对两个智能体进行监督微调，培养逐步推理和总结的能力。基于多轮DPO训练和抽样，模拟在线环境，提升模型性能。

资源

• GitHub 仓库：https://github.com/dongyh20/Insight-V
• HuggingFace 模型库：https://huggingface.co/THUdyh/Insight-V
• arXiv 技术论文：https://arxiv.org/pdf/2411.14432

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦