多模态

Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合音频、视觉和文本输入，通过特定情绪编码器整合信息，广泛应用于人机交互、教育、心理健康等领域。

Riona-AI-Agent 是一款基于 Node.js 和 TypeScript 的 AI 自动化工具，支持 Instagram、Twitter 等平台的自动化交互，生成高质量内容，提升社交媒体管理效率。

MedRAG是南洋理工大学推出的医学诊断模型，结合知识图谱与大语言模型，提升诊断准确率11.32%，支持多模态输入与智能提问，适用于急诊、慢性病管理等多种场景。

Proxy Lite 是一款开源的轻量级视觉语言模型，支持自动化网页任务，能够像人类一样操作浏览器，完成网页交互、数据抓取、表单填写等重复性工作，显著降低自动化成本。

Omnitool 是一款开源的 AI 桌面环境，支持本地运行，提供统一交互界面，快速接入 OpenAI、Stable Diffusion、Hugging Face 等主流 AI 平台，具备高度扩展性。

GLM-Realtime 是智谱推出的端到端多模态模型，具备低延迟的视频理解与语音交互能力，支持清唱功能、2分钟内容记忆及灵活调用外部工具，适用于多种智能场景。

Pipecat 是一个开源的 Python 框架，专注于构建语音和多模态对话代理，支持与多种 AI 服务集成，提供实时处理能力，适用于语音助手、企业服务等场景。

KHOJ 是一款开源的个人化 AI 助手，支持多源知识整合、语义搜索、个性化图像生成等功能，帮助用户高效管理知识库。

Agent Laboratory 是由 AMD 和约翰·霍普金斯大学联合推出的自主科研框架，基于大型语言模型，能够加速科学发现、降低成本并提高研究质量。

RAGEN是一个基于StarPO框架的开源强化学习系统，通过马尔可夫决策过程形式化Agent与环境的交互，支持PPO、GRPO等多种优化算法，显著提升多轮推理训练的稳定性。

Oumi 是一个完全开源的 AI 平台，支持从 1000 万到 4050 亿参数的模型训练，涵盖文本和多模态模型，提供零样板代码开发体验。

Baichuan-Omni-1.5 是百川智能开源的全模态理解模型，支持文本、图像、音频和视频的多模态输入和输出，显著提升多模态交互体验。

StockMixer 是上海交通大学推出的基于多层感知器的股票价格预测架构，通过指标、时间和股票混合实现高效预测。

上海交通大学推出的交交是全球首个纯学术界自研的口语对话情感大模型，具备多语言交流、方言理解、角色扮演和情感互动等能力，通过创新技术实现端到端语音对话和实时音色克隆。

NotaGen 是由中央音乐学院、北京航空航天大学、清华大学等机构联合推出的音乐生成模型，基于模仿大型语言模型的训练范式，能够生成高质量的古典乐谱。该模型通过预训练、微调和强化学习相结合的方式，显著提升了符号音乐生成的艺术性和可控性。

MiniCPM-o 2.6 是面壁智能开源的多模态大模型，支持视觉、语音和多模态直播，性能媲美GPT-4o，能够在端侧设备上高效运行。

AgiBot World 是智元机器人开源的百万真机数据集，旨在推动具身智能的发展，覆盖家居、餐饮、工业等五大核心场景。

Neural4D 2o是DreamTech推出的突破性3D大模型，通过文本、图像、3D和运动数据的联合训练，实现高精度3D生成与智能编辑，为创作者提供全新的多模态交互体验。

AudioX 是香港科技大学和月之暗面联合推出的扩散变换器模型，能够从文本、视频、图像等多种模态生成高质量音频和音乐，具备强大的跨模态学习能力和泛化能力。

OCRmyPDF 是一款开源命令行工具，专为将扫描的 PDF 文件转换为可搜索、可复制的文档。支持多语言、图像优化和多核处理。

Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型，结合视觉预测与动作执行，显著提升机器人任务成功率。

MiniMax MCP Server 是基于模型上下文协议的多模态生成中间件，支持通过文本指令调用视频生成、图像创作、语音合成及声音克隆等能力，兼容主流客户端实现跨平台调用，采用检索增强生成技术保障内容准确性。

阿里巴巴最新开源的Qwen2.5-VL-32B多模态模型，在数学推理、视觉问答等任务中超越前代72B版本，支持图像细粒度理解和复杂逻辑分析，已在HuggingFace开源。

SpatialLM 是群核科技开源的空间理解多模态模型，能够通过普通手机拍摄的视频重建 3D 场景布局，赋予机器人类似人类的空间认知能力，适用于具身智能训练、自动导航、AR/VR 等领域。

PhotoDoodle 是由字节跳动、新加坡国立大学等联合推出的艺术化图像编辑框架，能够通过少量样本学习艺术家的独特风格，实现照片涂鸦和装饰性元素生成。

月之暗面开源的Kimi-VL采用混合专家架构，总参数量16B推理时仅激活2.8B，支持128K上下文窗口与高分辨率视觉输入，通过长链推理微调和强化学习实现复杂任务处理能力。

AIMv2 是苹果公司开源的多模态自回归预训练视觉模型，通过图像和文本的深度融合提升视觉模型的性能，适用于多种视觉和多模态任务。

Quasar Alpha 是 OpenRouter 推出的预发布 AI 模型，具备百万级 token 上下文处理能力，在代码生成、指令遵循和低延迟响应方面表现卓越，同时支持联网搜索和多模态交互。

SmolDocling 是一款轻量级的多模态文档处理模型，能够将图像文档高效转换为结构化文本，支持文本、公式、图表等多种元素识别，适用于学术论文、技术报告等多类型文档。

MedRAX 是一款专门用于胸部X光检查的医学推理AI智能体，整合了多种最先进的分析工具，支持多模态推理和动态任务分解。

Eliza 是一个开源的多代理模拟框架，支持多平台连接、多模型集成，能够快速构建智能、高效的AI系统。

本文解析开源OCR工具Versatile-OCR-Program的技术实现，其基于多模态融合架构实现90%以上识别准确率，支持数学公式与图表的结构化输出，为教育资料数字化提供高效解决方案。

Cosmos-Reason1是NVIDIA推出的多模态大语言模型系列，具备物理常识理解和具身推理能力，支持视频输入和长链思考，可应用于机器人、自动驾驶等场景。

FinRobot 是一个开源的 AI Agent 平台，专注于金融领域的应用，通过大型语言模型（LLMs）构建复杂的金融分析和决策工具，提供市场预测、文档分析和交易策略等多种功能。

HiDream-I1是智象未来团队推出的开源图像生成模型，采用扩散模型技术和混合专家架构，在图像质量、提示词遵循能力等方面表现优异，支持多种风格生成。

NVIDIA推出的PDF to Podcast工具，基于大型语言模型和文本到语音技术，将PDF文档转换为生动的音频内容。

Mini-InternVL 是上海AI Lab联合清华等机构推出的轻量级多模态大模型，支持高效推理、跨领域适应和动态分辨率输入，适用于多种场景。

MMedAgent 是专为医疗领域设计的多模态AI智能体，支持多种医疗任务，包括医学影像处理、报告生成等，性能优于现有开源方法。

ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架，基于多智能体协作和动态迭代推理，显著提升复杂视觉文档的检索和生成效率。