开发者社区 问答 正文

在工业界和学术界对多模态搜索有什么研究?

在工业界和学术界对多模态搜索有什么研究? image.png

展开
收起
Pony马 2021-03-10 20:12:34 3554 分享 版权
来自: 阿里文娱技术
1 条回答
写回答
取消 提交回答
  • 目前 在工业界和学术界对多模态搜索的研究热度都非常高,学术界有很多方案是基于将 Query 和视频映射到一个中间 Concept 的空间,然后在中间维度做相似度的匹配排 序。此外,也有 VQA/GQA 等各类基于视频问答的数据集去推动自然语言和图像的 关系推理,最近 Video/Visual Bert 的端到端的解决方案也有了很大的突破。

    2021-03-12 16:38:36
    赞同 展开评论
问答标签: