多模态模型的发展趋势：迄今为止最先进的模型，跨模态 GAN，多模态 Transformer
多模态模型是迄今为止最先进的，因为它们可以接受多种不同的输入方式(例如语言、图像、语音、视频) ，并且在某些情况下产生不同的输出模态。
展开
收起
1
条回答
写回答
写回答
-
推荐一篇论文，感兴趣可以看看 Vision-Language Pre-training: Basics, Recent Advances, and Future Trends 地址：https://arxiv.org/pdf/2210.09263v1.pdf
2022-11-04 10:22:24赞同 展开评论 打赏
相关问答
热门讨论
热门文章
为什么用vllm部署qwen2-2b-vl，传输2张照片却，只回答一张照片的问题？
199
请问Qwen-VL怎么用自己的数据集微调
1293
在4卡4090（24G）服务器上利用modelscope离线部署Qwen2vl-Flux时报错
27
docker和open-webui、ollama 部署本地的qwen2 14b 提供了API接口吗？
352
StableDiffusion 报错，prompt_embeds
1666
多模态热门的模型有哪一些？
1845
请问如何根据自己的数据进行finetune呢？
418
该模型在在线环境使用下运行报错。
323
如何本地化（局域网内）部署Qwen的多模态大模型，用作推理 并自有程序调用
155
modelscope版本1.2.1运行stable diffusion中文通用报错
1517
展开全部
WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
240
MarkItDown：微软开源的多格式转Markdown工具，支持将PDF、Word、图像和音频等文件转换为Markdown格式
70
OmniSearch：阿里巴巴通义推出的多模态检索增强生成框架
196
NodeTool：AI 工作流可视化构建器，通过拖放节点设计复杂的工作流，集成 OpenAI 等多个平台
58
MV-Adapter：上交大、北航和 VAST 等联合开源多视图一致图像生成模型，将预训练的文生图扩散模型转为多视图生成器
67
VMB：中科院联合多所高校推出多模态音乐生成框架，能够通过文本、图像和视频等多种输入生成音乐
45
AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
38
EMMA-X：新加坡科技设计大学推出具身多模态动作模型，使夹爪机器人具备空间推理和任务规划能力
33
GLM-4V-Flash：智谱 AI 免费开放的图像理解大模型 API 接口
99
Lyra：SmartMore 联合香港多所高校推出的多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力
85
展开全部
