多模态

AutoGLM沉思是由智谱AI推出的一款开创性AI智能体，它突破性地将深度研究能力与实际操作能力融为一体，实现了AI从被动响应到主动执行的跨越式发展。

AutoMouser是一款Chrome扩展程序，能够实时跟踪用户交互行为，并基于OpenAI的GPT模型自动生成Selenium测试代码，简化自动化测试流程。

FlowiseAI 是一款开源的低代码工具，通过拖拽可视化组件，用户可以快速构建自定义的 LLM 应用程序，支持多模型集成和记忆功能。

Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合音频、视觉和文本输入，通过特定情绪编码器整合信息，广泛应用于人机交互、教育、心理健康等领域。

AGUVIS 是香港大学与 Salesforce 联合推出的纯视觉 GUI 自动化框架，能够在多种平台上实现自主 GUI 交互，结合显式规划和推理，提升复杂数字环境中的导航和交互能力。

Florence-VL是由微软和马里兰大学共同开源的多模态大语言模型，结合生成式视觉基础模型Florence-2和深度-广度融合技术，实现视觉与语言理解的深度融合，适用于多种下游任务。

NVILA是英伟达推出的视觉语言大模型，旨在高效处理高分辨率图像和长视频，同时保持高准确性。该模型通过“扩展-压缩”策略和多种优化技术，在多个领域如机器人导航和医疗成像中展现出广泛的应用潜力。

FlagEvalMM 是由北京智源人工智能研究院开源的多模态模型评测框架，旨在全面评估处理文本、图像、视频等多种模态的模型。该框架支持多种任务和指标，采用评测与模型推理解耦的设计，提升评测效率，便于快速适配新任务和模型。

Documind 是一款利用 AI 技术从 PDF 中提取结构化数据的先进文档处理工具，支持灵活的本地或云端部署。

月之暗面开源的Kimi-VL采用混合专家架构，总参数量16B推理时仅激活2.8B，支持128K上下文窗口与高分辨率视觉输入，通过长链推理微调和强化学习实现复杂任务处理能力。

CogView4 是智谱推出的开源文生图模型，支持中英双语输入和任意分辨率图像生成，特别优化了中文文字生成能力，适合广告、创意设计等场景。

Data Formulator 是微软研究院推出的开源 AI 数据可视化工具，结合图形化界面和自然语言输入，帮助用户快速创建复杂的可视化图表。

阿里云通义千问团队开源的多模态推理模型 QVQ-72B-Preview，专注于提升视觉推理能力，支持复杂图像理解和逐步推理。

Zerox 是一款开源的本地化高精度OCR工具，基于GPT-4o-mini模型，支持PDF、DOCX、图片等多种格式文件，能够零样本识别复杂布局文档，输出Markdown格式结果。

Mini-InternVL 是上海AI Lab联合清华等机构推出的轻量级多模态大模型，支持高效推理、跨领域适应和动态分辨率输入，适用于多种场景。

KHOJ 是一款开源的个人化 AI 助手，支持多源知识整合、语义搜索、个性化图像生成等功能，帮助用户高效管理知识库。

POINTS 1.5是腾讯微信推出的多模态大模型，基于LLaVA架构，具备强大的视觉和语言处理能力。它在复杂场景的OCR、推理能力、关键信息提取等方面表现出色，是全球10B以下开源模型中的佼佼者。

DiffSensei 是一个由北京大学、上海AI实验室及南洋理工大学共同推出的AI漫画生成框架，能够生成可控的黑白漫画面板。该框架整合了基于扩散的图像生成器和多模态大型语言模型（MLLM），支持多角色控制和精确布局控制，适用于漫画创作、个性化内容生成等多个领域。

Agent-E 是一个基于 AutoGen 代理框架构建的智能自动化系统，专注于浏览器内的自动化操作。它能够执行多种复杂任务，如填写表单、搜索和排序电商产品、定位网页内容等，从而提高在线效率，减少重复劳动。本文将详细介绍 Agent-E 的功能、技术原理以及如何运行该系统。

香港大学与Adobe联合研发的PixelFlow模型，通过流匹配和多尺度生成技术实现像素级图像生成，在256×256分辨率任务中取得1.98的FID分数，支持端到端训练并突破传统模型对预训练VAE的依赖。

ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架，基于多智能体协作和动态迭代推理，显著提升复杂视觉文档的检索和生成效率。

MiniCPM-o 2.6 是面壁智能开源的多模态大模型，支持视觉、语音和多模态直播，性能媲美GPT-4o，能够在端侧设备上高效运行。

Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型，专为 GUI 智能交互设计，支持高分辨率图像处理，适用于自动化测试、用户交互辅助等场景。

Open Notebook 是一款开源的 AI 笔记工具，支持多格式笔记管理，并能自动将笔记转换为博客或播客，适用于学术研究、教育、企业知识管理等多个场景。

VMB（Visuals Music Bridge）是由中科院联合多所高校机构推出的多模态音乐生成框架，能够从文本、图像和视频等多种输入模态生成音乐。该框架通过文本桥接和音乐桥接解决了数据稀缺、跨模态对齐弱和可控性有限的问题。

MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目，能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景，提升用户体验。

Lobe Vidol是一款开源的AI数字人交互平台，允许用户创建和互动自己的虚拟偶像。该平台提供流畅的对话体验、丰富的动作姿势库、优雅的用户界面设计以及多种技术支持，如文本到语音和语音到文本技术。Lobe Vidol适用于娱乐互动、在线教育、客户服务、品牌营销和社交媒体等多个应用场景。

上海AI Lab推出的Infinite Mobility采用程序化生成技术，可高效生成22类高质量可交互物体，单个生成仅需1秒且成本低至0.01元，已应用于机器人仿真训练等领域。

GigaTok是香港大学与字节跳动联合研发的3B参数视觉分词器，通过语义正则化技术和创新架构设计，解决了图像重建与生成质量间的矛盾，显著提升自回归模型的表示学习能力。

AbletonMCP 是一个开源项目，通过模型上下文协议（MCP）将 Ableton Live 与 Claude AI 连接，实现 AI 辅助音乐制作，支持创建、修改 MIDI 和音频轨道等操作。

Amazon Nova Act是亚马逊AGI实验室推出的通用AI代理系统，通过原子化分解网页操作任务并配合Playwright实现高可靠性浏览器自动化，其配套SDK支持开发者快速构建智能体应用原型。

Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目，支持实时语音对话、视觉感知和生动的 Live2D 动态形象，完全离线运行，保护用户隐私。

Supametas.AI 是一款专注于非结构化数据处理的工具，支持从多种来源（API、网页、文件、图像、音频、视频）提取并标准化输出为JSON和Markdown格式。它与LLM RAG无缝集成，提供用户友好界面和数据隐私保障，帮助企业快速将AI想法落地，提升开发效率。适用于AI医疗、法律、营销、SEO、客服等多个领域，助力企业加速项目成功和迭代。 网址：[https://supametas.ai](https://supametas.ai/)

Agent Laboratory 是由 AMD 和约翰·霍普金斯大学联合推出的自主科研框架，基于大型语言模型，能够加速科学发现、降低成本并提高研究质量。

Cosmos 是英伟达推出的生成式世界基础模型平台，旨在加速物理人工智能系统的发展，特别是在自动驾驶和机器人领域。

Valley 是字节跳动推出的多模态大模型，能够处理文本、图像和视频数据，在电子商务和短视频领域表现优异，并在 OpenCompass 测试中排名第二。

MV-Adapter是由北京航空航天大学、VAST和上海交通大学联合开发的多视图一致图像生成模型。该模型能够将预训练的文本到图像扩散模型转化为多视图图像生成器，支持生成高分辨率的多视角图像。

SimpleAR是复旦大学与字节Seed团队联合研发的自回归图像生成模型，仅用5亿参数即可生成1024×1024分辨率的高质量图像，在GenEval等基准测试中表现优异。

上海交通大学推出的交交是全球首个纯学术界自研的口语对话情感大模型，具备多语言交流、方言理解、角色扮演和情感互动等能力，通过创新技术实现端到端语音对话和实时音色克隆。

SmolDocling 是一款轻量级的多模态文档处理模型，能够将图像文档高效转换为结构化文本，支持文本、公式、图表等多种元素识别，适用于学术论文、技术报告等多类型文档。

MedRAX 是一款专门用于胸部X光检查的医学推理AI智能体，整合了多种最先进的分析工具，支持多模态推理和动态任务分解。

GLM-Realtime 是智谱推出的端到端多模态模型，具备低延迟的视频理解与语音交互能力，支持清唱功能、2分钟内容记忆及灵活调用外部工具，适用于多种智能场景。

LongDocURL 是由中科院与淘天集团联合推出的多模态长文档理解基准数据集，涵盖 2,325 个问答对，支持复杂文档的理解、推理和定位任务。

OpenEMMA 是德州农工大学、密歇根大学和多伦多大学共同开源的端到端自动驾驶多模态模型框架，基于预训练的多模态大型语言模型处理视觉数据和复杂驾驶场景的推理。