多模态

AIMv2 是苹果公司开源的多模态自回归预训练视觉模型，通过图像和文本的深度融合提升视觉模型的性能，适用于多种视觉和多模态任务。

AIOpsLab 是微软等机构推出的开源框架，支持云服务自动化运维，涵盖故障检测、根本原因分析等完整生命周期。

MarS 是微软亚洲研究院推出的金融市场模拟预测引擎，基于生成型基础模型 LMM，支持无风险环境下的交易策略测试、风险管理和市场分析。

EDTalk 是上海交通大学与网易联合研发的高效解耦情感说话头像合成模型，能够独立控制嘴型、头部姿态和情感表情，适用于多种应用场景。

Maya 是一个开源的多语言多模态模型，能够处理和理解八种不同语言，包括中文、法语、西班牙语、俄语、印地语、日语、阿拉伯语和英语。该模型基于LLaVA框架，通过指令微调和多语言数据集的预训练，提升了在视觉-语言任务中的表现，特别适用于低资源语言的内容生成和跨文化理解。

GLM-Edge是智谱开源的一系列端侧部署优化的大语言对话模型和多模态理解模型，旨在实现模型性能、实机推理效果和落地便利性之间的最佳平衡。该系列模型支持在手机、车机和PC等端侧设备上高效运行，适用于智能助手、聊天机器人、图像标注等多种应用场景。

LazyGraphRAG是微软研究院推出的图形增强生成增强检索框架，旨在大幅降低数据索引成本并提高查询效率。该框架结合了最佳优先搜索和广度优先搜索，支持本地和全局查询，适用于一次性查询、探索性分析和流数据处理。LazyGraphRAG将加入开源的GraphRAG库，为开发者和企业提供更高效的技术支持。

StoryTeller是由字节跳动、上海交通大学和北京大学共同推出的全自动长视频描述生成系统。该系统通过音频视觉角色识别技术，结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。StoryTeller在MovieQA任务中展现出比现有模型更高的准确率，适用于电影制作、视频内容分析、辅助视障人士等多个应用场景。

Seaweed-7B是字节跳动推出的70亿参数视频生成模型，支持从文本、图像或音频生成高质量视频内容，具备长镜头生成、实时渲染等先进特性，通过优化架构显著降低计算成本。

本文解析腾讯最新开源的FlexIP图像框架，其通过双适配器架构与动态门控机制实现身份保持与个性化编辑的精准平衡，在CLIP-I指标上取得0.873的高分验证了技术突破。

OmniCam是由浙江大学与上海交通大学联合研发的多模态视频生成框架，通过LLM与视频扩散模型结合实现高质量视频生成，支持文本、轨迹和图像等多种输入模态。

AudioX 是香港科技大学和月之暗面联合推出的扩散变换器模型，能够从文本、视频、图像等多种模态生成高质量音频和音乐，具备强大的跨模态学习能力和泛化能力。

Proxy Lite 是一款开源的轻量级视觉语言模型，支持自动化网页任务，能够像人类一样操作浏览器，完成网页交互、数据抓取、表单填写等重复性工作，显著降低自动化成本。

R1-Onevision 是一款开源的多模态视觉推理模型，基于 Qwen2.5-VL 微调，专注于复杂视觉推理任务。它通过整合视觉和文本数据，能够在数学、科学、深度图像理解和逻辑推理等领域表现出色，并在多项基准测试中超越了 Qwen2.5-VL-7B 和 GPT-4V 等模型。

Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型，结合视觉预测与动作执行，显著提升机器人任务成功率。

VSI-Bench是由李飞飞和谢赛宁团队推出的视觉空间智能基准测试集，旨在评估多模态大型语言模型（MLLMs）在空间认知和理解方面的能力。该基准测试集包含超过5000个问题-答案对，覆盖近290个真实室内场景视频，涉及多种环境，能够系统地测试和提高MLLMs在视觉空间智能方面的表现。

Florence-VL是由微软和马里兰大学共同开源的多模态大语言模型，结合生成式视觉基础模型Florence-2和深度-广度融合技术，实现视觉与语言理解的深度融合，适用于多种下游任务。

NVILA是英伟达推出的视觉语言大模型，旨在高效处理高分辨率图像和长视频，同时保持高准确性。该模型通过“扩展-压缩”策略和多种优化技术，在多个领域如机器人导航和医疗成像中展现出广泛的应用潜力。

MEMO是一种音频驱动的生成肖像说话视频框架，由Skywork AI、南洋理工大学和新加坡国立大学联合推出。该框架通过记忆引导的时间模块和情感感知音频模块，确保生成的视频在身份一致性和表现力方面达到高水平。MEMO支持多种图像风格和音频类型的说话视频生成，并能处理多语言输入。

ShowUI是由新加坡国立大学Show Lab和微软联合推出的视觉-语言-行动模型，旨在提升图形用户界面（GUI）助手的效率。该模型通过UI引导的视觉令牌选择和交错视觉-语言-行动流，有效减少计算成本并提高训练效率。ShowUI在小规模高质量数据集上表现出色，展现出在GUI自动化领域的潜力。

阿里云通义千问团队开源的多模态推理模型 QVQ-72B-Preview，专注于提升视觉推理能力，支持复杂图像理解和逐步推理。

GLM-Realtime 是智谱推出的端到端多模态模型，具备低延迟的视频理解与语音交互能力，支持清唱功能、2分钟内容记忆及灵活调用外部工具，适用于多种智能场景。

ParGo 是字节与中山大学联合推出的多模态大模型连接器，通过全局与局部视角联合，提升视觉与语言模态的对齐效果，支持高效连接、细节感知与自监督学习。

Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型，专为 GUI 智能交互设计，支持高分辨率图像处理，适用于自动化测试、用户交互辅助等场景。

Cosmos 是英伟达推出的生成式世界基础模型平台，旨在加速物理人工智能系统的发展，特别是在自动驾驶和机器人领域。

EMMA-X是由新加坡科技设计大学推出的具身多模态动作模型，具备70亿参数，通过在链式思维推理数据上微调OpenVLA创建。该模型结合层次化的具身数据集，增强空间推理和任务规划能力。

NodeTool 是一个开源的 AI 工作流可视化构建器，通过拖放节点的方式设计复杂的工作流，无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型，并与 Hugging Face、OpenAI 等平台集成，提供模型访问能力。

LatentLM是由微软研究院和清华大学联合推出的多模态生成模型，能够统一处理离散和连续数据，具备高性能图像生成、多模态大型语言模型集成等功能，展现出卓越的多模态任务处理能力。

Kandinsky-3 是一个开源的文本到图像生成框架，基于潜在扩散模型，能够适应多种图像生成任务。该框架支持高质量和逼真的图像合成，包括文本引导的修复/扩展、图像融合、文本-图像融合及视频生成等功能。Kandinsky-3 通过简化模型架构，提高了推理速度，同时保持了图像质量。

Skywork R1V 是昆仑万维开源的多模态思维链推理模型，具备强大的视觉链式推理能力，能够在多个权威基准测试中取得领先成绩，推动多模态推理模型的发展。

LongDocURL 是由中科院与淘天集团联合推出的多模态长文档理解基准数据集，涵盖 2,325 个问答对，支持复杂文档的理解、推理和定位任务。

AGUVIS 是香港大学与 Salesforce 联合推出的纯视觉 GUI 自动化框架，能够在多种平台上实现自主 GUI 交互，结合显式规划和推理，提升复杂数字环境中的导航和交互能力。

CogAgent-9B 是智谱AI基于 GLM-4V-9B 训练的专用Agent任务模型，支持高分辨率图像处理和双语交互，能够预测并执行GUI操作，广泛应用于自动化任务。

Lyra是由香港中文大学、SmartMore和香港科技大学联合推出的高效多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型和多模态LoRA模块，减少训练成本和数据需求，支持多种模态理解和推理任务。

SynCamMaster是由快手科技联合浙江大学、清华大学等机构推出的全球首个多视角视频生成模型，能够结合6自由度相机姿势，从任意视点生成开放世界视频。该模型通过增强预训练的文本到视频模型，确保不同视点的内容一致性，支持多摄像机视频生成，并在多个应用场景中展现出巨大潜力。

GenMAC是由香港大学、清华大学和微软研究院联合推出的文本到视频生成的多代理协作框架。该框架通过任务分解、迭代循环和多代理协作，解决了复杂场景生成问题，显著提高了视频生成的准确性和文本对齐度。

SpatialVLA 是由上海 AI Lab、中国电信人工智能研究院和上海科技大学等机构共同推出的新型空间具身通用操作模型，基于百万真实数据预训练，赋予机器人强大的3D空间理解能力，支持跨平台泛化控制。

MiniPerplx 是一款基于 Grok 2.0 模型的开源 AI 搜索引擎，支持网页、学术论文、YouTube 视频等多种内容搜索，提供代码解释、天气预报等功能。

MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目，能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景，提升用户体验。

Fugatto是由英伟达推出的多功能AI音频生成模型，能够根据文本提示生成音频或视频，并修改现有音频文件。该模型基于增强型的Transformer模型，支持复杂的组合指令，具有强大的音频生成与转换能力，广泛应用于音乐创作、声音设计、语音合成等领域。

LongLLaVA是由香港中文大学推出的多模态大型语言模型，采用混合架构，结合Mamba和Transformer模块，旨在高效处理大量图像数据。该模型能够在单个A100 80GB GPU上处理多达1000张图像，通过2D池化技术压缩图像token，显著降低计算成本，同时保留关键的空间关系信息。LongLLaVA在视频理解、高分辨率图像分析和多模态代理等应用场景中展现出卓越的性能。