多模态

PodAgent 是由香港中文大学、微软和小红书联合推出的播客生成框架，基于多智能体协作系统，自动生成高质量对话内容，支持声音角色匹配和语音合成，适用于媒体、教育、企业推广等多个场景。

SpatialVLA 是由上海 AI Lab、中国电信人工智能研究院和上海科技大学等机构共同推出的新型空间具身通用操作模型，基于百万真实数据预训练，赋予机器人强大的3D空间理解能力，支持跨平台泛化控制。

Proxy Lite 是一款开源的轻量级视觉语言模型，支持自动化网页任务，能够像人类一样操作浏览器，完成网页交互、数据抓取、表单填写等重复性工作，显著降低自动化成本。

OmniAlign-V 是由上海交通大学、上海AI Lab等机构联合推出的高质量多模态数据集，旨在提升多模态大语言模型与人类偏好的对齐能力。该数据集包含约20万个多模态训练样本，涵盖自然图像和信息图表，结合开放式问答对，支持知识问答、推理任务和创造性任务。

NotaGen 是由中央音乐学院、北京航空航天大学、清华大学等机构联合推出的音乐生成模型，基于模仿大型语言模型的训练范式，能够生成高质量的古典乐谱。该模型通过预训练、微调和强化学习相结合的方式，显著提升了符号音乐生成的艺术性和可控性。

CogView4 是智谱推出的开源文生图模型，支持中英双语输入和任意分辨率图像生成，特别优化了中文文字生成能力，适合广告、创意设计等场景。

ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架，基于多智能体协作和动态迭代推理，显著提升复杂视觉文档的检索和生成效率。

SongGen是由上海AI Lab、北京航空航天大学和香港中文大学联合推出的单阶段自回归Transformer模型，能够通过文本生成高质量歌曲，支持混合模式和双轨模式，显著提升生成歌曲的自然度和人声清晰度。

AIMv2 是苹果公司开源的多模态自回归预训练视觉模型，通过图像和文本的深度融合提升视觉模型的性能，适用于多种视觉和多模态任务。

Trae 是一款完全免费的AI编程工具，现已接入 Claude 3.7 模型，提供代码生成、调试等强大功能，支持多模态输入和上下文理解，用户可享受24小时高速服务，无需担心付费限制。Trae 支持多平台，安装简便，适合开发者快速上手。

R1-Onevision 是一款开源的多模态视觉推理模型，基于 Qwen2.5-VL 微调，专注于复杂视觉推理任务。它通过整合视觉和文本数据，能够在数学、科学、深度图像理解和逻辑推理等领域表现出色，并在多项基准测试中超越了 Qwen2.5-VL-7B 和 GPT-4V 等模型。

video-subtitle-master 是一款开源AI字幕生成工具，支持批量为视频或音频生成字幕，并可将字幕翻译成多种语言。它集成了多种翻译服务和语音识别技术，适合视频创作者、教育领域和个人娱乐使用。

Wan2.1是阿里云开源的一款AI视频生成大模型，支持文生视频和图生视频任务，具备强大的视觉生成能力，性能超越Sora、Luma等国内外模型。

PhotoDoodle 是由字节跳动、新加坡国立大学等联合推出的艺术化图像编辑框架，能够通过少量样本学习艺术家的独特风格，实现照片涂鸦和装饰性元素生成。

HealthGPT 是浙江大学联合阿里巴巴等机构开发的先进医学视觉语言模型，具备医学图像分析、诊断辅助和个性化治疗方案建议等功能。

ToddlerBot 是斯坦福大学推出的低成本开源人形机器人平台，支持强化学习、模仿学习和零样本模拟到现实转移，适用于运动操作研究和多场景应用。

CLaMP 3是由清华大学团队开发的多模态、多语言音乐信息检索框架，支持27种语言，能够进行跨模态音乐检索、零样本分类和音乐推荐等任务。

Omnitool 是一款开源的 AI 桌面环境，支持本地运行，提供统一交互界面，快速接入 OpenAI、Stable Diffusion、Hugging Face 等主流 AI 平台，具备高度扩展性。

VideoCaptioner 是一款基于大语言模型的智能视频字幕处理工具，支持语音识别、字幕断句、优化、翻译全流程处理，并提供多种字幕样式和格式导出。

NVIDIA推出的PDF to Podcast工具，基于大型语言模型和文本到语音技术，将PDF文档转换为生动的音频内容。

Data Formulator 是微软研究院推出的开源 AI 数据可视化工具，结合图形化界面和自然语言输入，帮助用户快速创建复杂的可视化图表。

MedRAX 是一款专门用于胸部X光检查的医学推理AI智能体，整合了多种最先进的分析工具，支持多模态推理和动态任务分解。

Agno 是一个用于构建多模态智能体的轻量级框架，支持文本、图像、音频和视频等多种数据模态，能够快速创建智能体并实现高效协作。

AstrBot 是一个开源的多平台聊天机器人及开发框架，支持多种大语言模型和消息平台，具备多轮对话、语音转文字等功能。

MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用，支持多模态交互、多种主流模型选择、离线运行及性能优化。

OCRmyPDF 是一款开源命令行工具，专为将扫描的 PDF 文件转换为可搜索、可复制的文档。支持多语言、图像优化和多核处理。

Oumi 是一个完全开源的 AI 平台，支持从 1000 万到 4050 亿参数的模型训练，涵盖文本和多模态模型，提供零样板代码开发体验。

YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型，能够将歌词转化为完整的歌曲，支持多种音乐风格和多语言。

阿里云通义千问团队开源的多模态推理模型 QVQ-72B-Preview，专注于提升视觉推理能力，支持复杂图像理解和逐步推理。

Janus-Pro是DeepSeek推出的一款开源多模态AI模型，支持图像理解和生成，提供1B和7B两种规模，适配多元应用场景。通过改进的训练策略、扩展的数据集和更大规模的模型，显著提升了文本到图像的生成能力和指令跟随性能。

Baichuan-Omni-1.5 是百川智能开源的全模态理解模型，支持文本、图像、音频和视频的多模态输入和输出，显著提升多模态交互体验。