多模态

FilmAgent 是由哈工大与清华联合推出的AI电影自动化制作工具，通过多智能体协作实现从剧本生成到虚拟拍摄的全流程自动化。

UI-TARS Desktop 是一款基于视觉语言模型的 GUI 代理应用，支持通过自然语言控制电脑操作，提供跨平台支持、实时反馈和精准的鼠标键盘控制。

VideoChat-Flash 是上海人工智能实验室等机构推出的多模态大模型，通过分层压缩技术高效处理长视频，支持长达数小时的视频输入，推理速度提升5-10倍。

豆包大模型1.5是字节跳动推出的最新大模型，采用大规模稀疏MoE架构，支持多模态输入输出，具备低时延语音对话能力，综合性能优于GPT-4o和Claude 3.5 Sonnet。

Zerox 是一款开源的本地化高精度OCR工具，基于GPT-4o-mini模型，支持PDF、DOCX、图片等多种格式文件，能够零样本识别复杂布局文档，输出Markdown格式结果。

moonshot-v1-vision-preview 是月之暗面推出的多模态图片理解模型，具备强大的图像识别、OCR文字识别和数据提取能力，支持API调用，适用于多种应用场景。

GLM-Realtime 是智谱推出的端到端多模态模型，具备低延迟的视频理解与语音交互能力，支持清唱功能、2分钟内容记忆及灵活调用外部工具，适用于多种智能场景。

AutoMouser是一款Chrome扩展程序，能够实时跟踪用户交互行为，并基于OpenAI的GPT模型自动生成Selenium测试代码，简化自动化测试流程。

ParGo 是字节与中山大学联合推出的多模态大模型连接器，通过全局与局部视角联合，提升视觉与语言模态的对齐效果，支持高效连接、细节感知与自监督学习。

OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架，支持多设备连接、高效模型集成，助力开发者快速构建复杂的多模态代理应用。

Uni-AdaFocus 是清华大学推出的高效视频理解框架，通过自适应聚焦机制动态调整计算资源分配，显著提升视频处理效率。

Mini-InternVL 是上海AI Lab联合清华等机构推出的轻量级多模态大模型，支持高效推理、跨领域适应和动态分辨率输入，适用于多种场景。

Pipecat 是一个开源的 Python 框架，专注于构建语音和多模态对话代理，支持与多种 AI 服务集成，提供实时处理能力，适用于语音助手、企业服务等场景。

KHOJ 是一款开源的个人化 AI 助手，支持多源知识整合、语义搜索、个性化图像生成等功能，帮助用户高效管理知识库。

FlowiseAI 是一款开源的低代码工具，通过拖拽可视化组件，用户可以快速构建自定义的 LLM 应用程序，支持多模型集成和记忆功能。

LlamaV-o1 是一款多模态视觉推理模型，通过逐步推理学习方法解决复杂任务，支持透明推理过程，适用于医疗、金融等领域。

MiniCPM-o 2.6 是面壁智能开源的多模态大模型，支持视觉、语音和多模态直播，性能媲美GPT-4o，能够在端侧设备上高效运行。

Riona-AI-Agent 是一款基于 Node.js 和 TypeScript 的 AI 自动化工具，支持 Instagram、Twitter 等平台的自动化交互，生成高质量内容，提升社交媒体管理效率。

NVIDIA-Ingest 是英伟达开源的智能文档提取工具，支持 PDF、Word、PPT 等多种格式，提供并行处理和 GPU 加速，适用于企业内容管理和生成式应用。

Eko 是 Fellou AI 推出的开源 AI 代理开发框架，支持自然语言驱动，帮助开发者快速构建从简单指令到复杂工作流的智能代理。

Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合音频、视觉和文本输入，通过特定情绪编码器整合信息，广泛应用于人机交互、教育、心理健康等领域。

Agent Laboratory 是由 AMD 和约翰·霍普金斯大学联合推出的自主科研框架，基于大型语言模型，能够加速科学发现、降低成本并提高研究质量。

Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型，结合视觉预测与动作执行，显著提升机器人任务成功率。

Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型，专为 GUI 智能交互设计，支持高分辨率图像处理，适用于自动化测试、用户交互辅助等场景。

Mobile-Agent 是一款基于多模态大语言模型的智能代理，能够通过视觉感知自主完成复杂的移动设备操作任务，支持跨应用操作和纯视觉解决方案。

AIOpsLab 是微软等机构推出的开源框架，支持云服务自动化运维，涵盖故障检测、根本原因分析等完整生命周期。

MiniPerplx 是一款基于 Grok 2.0 模型的开源 AI 搜索引擎，支持网页、学术论文、YouTube 视频等多种内容搜索，提供代码解释、天气预报等功能。

Cosmos 是英伟达推出的生成式世界基础模型平台，旨在加速物理人工智能系统的发展，特别是在自动驾驶和机器人领域。

GeneralDyG 是南洋理工大学推出的通用动态图异常检测方法，通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块，有效应对数据多样性、动态特征捕捉和计算成本高等挑战。

FlexRAG 是中科院推出的高性能多模态 RAG 框架，支持多数据类型、上下文压缩和多模态数据处理，显著提升生成模型的表现。

MMedAgent 是专为医疗领域设计的多模态AI智能体，支持多种医疗任务，包括医学影像处理、报告生成等，性能优于现有开源方法。

LongDocURL 是由中科院与淘天集团联合推出的多模态长文档理解基准数据集，涵盖 2,325 个问答对，支持复杂文档的理解、推理和定位任务。

MarS 是微软亚洲研究院推出的金融市场模拟预测引擎，基于生成型基础模型 LMM，支持无风险环境下的交易策略测试、风险管理和市场分析。

AigcPanel 是一款开源的 AI 虚拟数字人系统，支持视频合成、声音克隆等功能，适用于影视制作、虚拟主播、教育培训等多种场景。

TITAN 是哈佛医学院研究团队开发的多模态全切片病理基础模型，通过视觉自监督学习和视觉-语言对齐预训练，能够在无需微调或临床标签的情况下提取通用切片表示，生成病理报告。

Eliza 是一个开源的多代理模拟框架，支持多平台连接、多模型集成，能够快速构建智能、高效的AI系统。

OpenEMMA 是德州农工大学、密歇根大学和多伦多大学共同开源的端到端自动驾驶多模态模型框架，基于预训练的多模态大型语言模型处理视觉数据和复杂驾驶场景的推理。

StockMixer 是上海交通大学推出的基于多层感知器的股票价格预测架构，通过指标、时间和股票混合实现高效预测。

AgiBot World 是智元机器人开源的百万真机数据集，旨在推动具身智能的发展，覆盖家居、餐饮、工业等五大核心场景。

GraphAgent 是香港大学和香港科技大学联合推出的智能图形语言助手，能够处理结构化和非结构化数据，并通过知识图谱展示复杂关系。

AGUVIS 是香港大学与 Salesforce 联合推出的纯视觉 GUI 自动化框架，能够在多种平台上实现自主 GUI 交互，结合显式规划和推理，提升复杂数字环境中的导航和交互能力。

Valley 是字节跳动推出的多模态大模型，能够处理文本、图像和视频数据，在电子商务和短视频领域表现优异，并在 OpenCompass 测试中排名第二。

FinRobot 是一个开源的 AI Agent 平台，专注于金融领域的应用，通过大型语言模型（LLMs）构建复杂的金融分析和决策工具，提供市场预测、文档分析和交易策略等多种功能。

Vision Parse 是一款开源的 PDF 转 Markdown 工具，基于视觉语言模型，能够智能识别和提取 PDF 中的文本和表格，并保持原有格式和结构。

EDTalk 是上海交通大学与网易联合研发的高效解耦情感说话头像合成模型，能够独立控制嘴型、头部姿态和情感表情，适用于多种应用场景。

CogAgent-9B 是智谱AI基于 GLM-4V-9B 训练的专用Agent任务模型，支持高分辨率图像处理和双语交互，能够预测并执行GUI操作，广泛应用于自动化任务。

PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统，能够模拟人类认知过程，自动化执行复杂的数字任务，如组织研究材料、起草报告等，展现了卓越的数据效率和实际应用潜力。