多模态模型的发展趋势：迄今为止最先进的模型，跨模态 GAN，多模态 Transformer
多模态模型是迄今为止最先进的，因为它们可以接受多种不同的输入方式(例如语言、图像、语音、视频) ，并且在某些情况下产生不同的输出模态。
展开
收起
1
条回答
写回答
写回答
-
推荐一篇论文，感兴趣可以看看 Vision-Language Pre-training: Basics, Recent Advances, and Future Trends 地址：https://arxiv.org/pdf/2210.09263v1.pdf
2022-11-04 10:22:24赞同 展开评论 打赏
相关问答
热门讨论
热门文章
为什么用vllm部署qwen2-2b-vl，传输2张照片却，只回答一张照片的问题？
201
在4卡4090（24G）服务器上利用modelscope离线部署Qwen2vl-Flux时报错
27
请问Qwen-VL怎么用自己的数据集微调
1293
docker和open-webui、ollama 部署本地的qwen2 14b 提供了API接口吗？
353
该模型在在线环境使用下运行报错。
323
请问如何根据自己的数据进行finetune呢？
418
如何本地化（局域网内）部署Qwen的多模态大模型，用作推理 并自有程序调用
155
多模态热门的模型有哪一些？
1845
在VQA任务里，有办法区分context和question吗？
587
如果导入自定义数据集？
284
展开全部
WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
245
OmniSearch：阿里巴巴通义推出的多模态检索增强生成框架
196
MarkItDown：微软开源的多格式转Markdown工具，支持将PDF、Word、图像和音频等文件转换为Markdown格式
72
AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
38
VSI-Bench：李飞飞谢赛宁团队推出视觉空间智能基准测试集，旨在评估多模态大语言模型在空间认知和理解方面的能力
31
MV-Adapter：上交大、北航和 VAST 等联合开源多视图一致图像生成模型，将预训练的文生图扩散模型转为多视图生成器
67
EMMA-X：新加坡科技设计大学推出具身多模态动作模型，使夹爪机器人具备空间推理和任务规划能力
34
NodeTool：AI 工作流可视化构建器，通过拖放节点设计复杂的工作流，集成 OpenAI 等多个平台
58
GLM-4V-Flash：智谱 AI 免费开放的图像理解大模型 API 接口
100
RDT：清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集，基于模仿能力机器人能够自主完成复杂任务
63
展开全部
