多模态

MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用，支持多模态交互、多种主流模型选择、离线运行及性能优化。

Doo AI是一款简洁易用的开源AI模型本地部署工具，支持通义千问3/VL、LLaMA3.1等主流HF格式模型。下载即用，扫描→点击“加载”，可以快速、轻松完成部署；纯本地运行，隐私安全；支持文本对话、图像识别、RAG、角色提示词等实用功能。（239字）

AstrBot 是一个开源的多平台聊天机器人及开发框架，支持多种大语言模型和消息平台，具备多轮对话、语音转文字等功能。

Wan2.1是阿里云开源的一款AI视频生成大模型，支持文生视频和图生视频任务，具备强大的视觉生成能力，性能超越Sora、Luma等国内外模型。

OpenUtau是一款开源的歌声合成工具，兼容UTAU音源库和重采样器，支持多语言界面及预渲染功能，让音乐创作更加高效便捷。

大模型如何更懂人类？关键在于“对齐”。PPO、DPO、KTO是三大主流对齐方法：PPO效果强但复杂，DPO平衡高效，KTO低成本易上手。不同团队可根据资源选择路径。LLaMA-Factory Online让微调像浏览器操作一样简单，助力人人皆可训练专属模型。

Agno 是一个用于构建多模态智能体的轻量级框架，支持文本、图像、音频和视频等多种数据模态，能够快速创建智能体并实现高效协作。

斯坦福大学推出的FramePack技术通过压缩输入帧上下文长度，解决视频生成中的"遗忘"和"漂移"问题，仅需6GB显存即可在普通笔记本上实时生成高清视频。

Trae 是一款完全免费的AI编程工具，现已接入 Claude 3.7 模型，提供代码生成、调试等强大功能，支持多模态输入和上下文理解，用户可享受24小时高速服务，无需担心付费限制。Trae 支持多平台，安装简便，适合开发者快速上手。

UniRig是清华大学与VAST联合研发的自动骨骼绑定框架，基于自回归模型与交叉注意力机制，支持多样化3D模型的骨骼生成与蒙皮权重预测，其创新的骨骼树标记化技术显著提升动画制作效率。

StarVector是由ServiceNow Research等机构联合开发的开源多模态视觉语言模型，能够将图像和文本转换为可编辑的SVG矢量图形，支持1B和8B两种规模，在SVG生成任务中表现出色。

随着大模型的越来越盛行，现在很多企业开始接入大模型的接口，今天我从java开发角度来写一个demo的示例，用于接入DeepSeek大模型，国内的大模型有很多的接入渠道，今天主要介绍下阿里云的百炼模型，因为这个模型是免费的，只要注册一个账户，就会免费送百万的token进行学习，今天就从一个简单的可以执行的示例开始进行介绍，希望可以分享给各位正在学习的同学们。

万相首尾帧模型是阿里通义开源的14B参数规模视频生成模型，基于DiT架构和高效视频压缩VAE，能够根据首尾帧图像自动生成5秒720p高清视频，支持多种风格变换和细节复刻。

video-subtitle-master 是一款开源AI字幕生成工具，支持批量为视频或音频生成字幕，并可将字幕翻译成多种语言。它集成了多种翻译服务和语音识别技术，适合视频创作者、教育领域和个人娱乐使用。

AutoGLM沉思是由智谱AI推出的一款开创性AI智能体，它突破性地将深度研究能力与实际操作能力融为一体，实现了AI从被动响应到主动执行的跨越式发展。

Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目，支持实时语音对话、视觉感知和生动的 Live2D 动态形象，完全离线运行，保护用户隐私。

Oumi 是一个完全开源的 AI 平台，支持从 1000 万到 4050 亿参数的模型训练，涵盖文本和多模态模型，提供零样板代码开发体验。

RAGEN是一个基于StarPO框架的开源强化学习系统，通过马尔可夫决策过程形式化Agent与环境的交互，支持PPO、GRPO等多种优化算法，显著提升多轮推理训练的稳定性。

Second Me 是一个开源AI身份系统，允许用户创建完全私有的个性化AI代理，代表用户的真实自我，支持本地训练和部署，保护用户隐私和数据安全。

QVQ-Max是阿里通义推出的新一代视觉推理模型，不仅能解析图像视频内容，还能进行深度推理和创意生成，在数学解题、数据分析、穿搭建议等场景展现强大能力。

SmolDocling 是一款轻量级的多模态文档处理模型，能够将图像文档高效转换为结构化文本，支持文本、公式、图表等多种元素识别，适用于学术论文、技术报告等多类型文档。

Hunyuan3D 2.0 是腾讯推出的大规模 3D 资产生成系统，专注于从文本和图像生成高分辨率的 3D 模型，支持几何生成和纹理合成。

上海人工智能实验室开源的InternVL3系列多模态大语言模型，通过原生多模态预训练方法实现文本、图像、视频的统一处理，支持从1B到78B共7种参数规模。

Dify-Plus 是基于 Dify 二次开发的企业级增强版项目，新增用户额度、密钥管理、Web 登录鉴权等功能，优化权限管理，适合企业场景使用。

Omnitool 是一款开源的 AI 桌面环境，支持本地运行，提供统一交互界面，快速接入 OpenAI、Stable Diffusion、Hugging Face 等主流 AI 平台，具备高度扩展性。

本文介绍基于FastAPI与React构建的开源视频笔记工具BiliNote，其整合多模态AI技术实现视频内容结构化解析，支持跨平台视频源处理与本地化部署方案，提供从语音转写到智能摘要的全流程自动化能力。

HealthGPT 是浙江大学联合阿里巴巴等机构开发的先进医学视觉语言模型，具备医学图像分析、诊断辅助和个性化治疗方案建议等功能。

YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型，能够将歌词转化为完整的歌曲，支持多种音乐风格和多语言。

Data Formulator 是微软研究院推出的开源 AI 数据可视化工具，结合图形化界面和自然语言输入，帮助用户快速创建复杂的可视化图表。

Proxy Lite 是一款开源的轻量级视觉语言模型，支持自动化网页任务，能够像人类一样操作浏览器，完成网页交互、数据抓取、表单填写等重复性工作，显著降低自动化成本。

MAGI-1是Sand AI开源的全球首个自回归视频生成大模型，采用创新架构实现高分辨率流畅视频生成，支持无限扩展和精细控制，在物理行为预测方面表现突出。

AudioX 是香港科技大学和月之暗面联合推出的扩散变换器模型，能够从文本、视频、图像等多种模态生成高质量音频和音乐，具备强大的跨模态学习能力和泛化能力。

SkyReels-A2是昆仑万维推出的创新视频生成框架，通过扩散模型和图像-文本联合嵌入技术，实现多元素精准组合与高质量视频输出。

阿里巴巴最新开源的Qwen2.5-VL-32B多模态模型，在数学推理、视觉问答等任务中超越前代72B版本，支持图像细粒度理解和复杂逻辑分析，已在HuggingFace开源。

SpatialLM 是群核科技开源的空间理解多模态模型，能够通过普通手机拍摄的视频重建 3D 场景布局，赋予机器人类似人类的空间认知能力，适用于具身智能训练、自动导航、AR/VR 等领域。

R1-Omni 是阿里通义开源的全模态大语言模型，专注于情感识别任务，结合视觉和音频信息，提供可解释的推理过程，显著提升情感识别的准确性和泛化能力。

ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架，基于多智能体协作和动态迭代推理，显著提升复杂视觉文档的检索和生成效率。

CLaMP 3是由清华大学团队开发的多模态、多语言音乐信息检索框架，支持27种语言，能够进行跨模态音乐检索、零样本分类和音乐推荐等任务。

上海交通大学推出的交交是全球首个纯学术界自研的口语对话情感大模型，具备多语言交流、方言理解、角色扮演和情感互动等能力，通过创新技术实现端到端语音对话和实时音色克隆。

MiniMax MCP Server 是基于模型上下文协议的多模态生成中间件，支持通过文本指令调用视频生成、图像创作、语音合成及声音克隆等能力，兼容主流客户端实现跨平台调用，采用检索增强生成技术保障内容准确性。

月之暗面开源的Kimi-VL采用混合专家架构，总参数量16B推理时仅激活2.8B，支持128K上下文窗口与高分辨率视觉输入，通过长链推理微调和强化学习实现复杂任务处理能力。

NotaGen 是由中央音乐学院、北京航空航天大学、清华大学等机构联合推出的音乐生成模型，基于模仿大型语言模型的训练范式，能够生成高质量的古典乐谱。该模型通过预训练、微调和强化学习相结合的方式，显著提升了符号音乐生成的艺术性和可控性。