GAN、扩散模型应有尽有,CMU出品的生成模型专属搜索引擎Modelverse来了

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: GAN、扩散模型应有尽有,CMU出品的生成模型专属搜索引擎Modelverse来了

从前几年出尽风头的 GAN 到今年独占鳌头的 Stable Diffusion,预训练生成模型一直风头不减,相关论文、模型也是层出不穷。这就带来了一些问题:如何在众多模型中找到自己想要的那一个?如何找到对应模型的学习资料(比如代码库)?自己做了个新模型如何与更多的人分享(除了发推特)?


近日,卡内基梅隆大学助理教授朱俊彦等人开发了一个名为「Modelverse」的在线分享和搜索平台来解决这些问题。



Modelverse 是一个包含多种深度生成模型的模型共享和搜索平台,例如 GAN、扩散模型和自回归模型,题材包括动物、风景、肖像和艺术品等。你可以在这个平台上查找或者共享深度生成模型。



平台链接:https://modelverse.cs.cmu.edu/


平台提供的搜索方式是多样化的,你可以输入文字检索,也可以输入图像、简笔画或多模态信息检索。



比如,以一张飞机的简笔画作为输入,我们可以得到以下结果:



以大象的图片为输入,我们也能找到可以生成大象图像的 GAN 模型:




,时长00:42

那么,这些功能具体是怎么实现的呢?


在最新公布的论文中,作者进行了详细的介绍。



论文链接:https://arxiv.org/pdf/2210.03116.pdf

该搜索系统由预缓存阶段(a,b)和推理阶段(c)组成。给定一组模型,(a)首先为每个模型生成 50K 的样本。(b)然后将图像编码为图像特征并计算每个模型的一阶和二阶特征统计。统计数据被缓存在系统中,以提高效率。(c)在推理时,系统支持不同模式(文本、图像或草图)的查询。系统将查询编码为特征向量,并评估查询特征与每个模型的统计数据之间的相似性,由此检索具有最佳相似性度量的模型。



搜索结果

模型检索的定性结果。下面展示了三种不同模态的模型检索结果,分别是图像、草图、文本。


该系统还支持多模态查询 (下图左) ,并支持使用模型作为查询来查找相似的模型 (下图右)。



图像重建与编辑。随着生成模型数量的爆发式增长,用户越来越不可能了解每一个有趣的模型,但是为自己的特定用途选择正确的模型可能是至关重要的。下图显示,选择正确的生成模型进行图像查询可以得到更好的转换结果,从而更好地进行潜在空间插值和图像编辑。



但我们可以发现,这个搜索系统还存在一些局限性。如下图(左)所示,有时侯草图查询(例如,鸟的草图)会匹配具有抽象风格的模型。CLIP 特征是否与草图的形状、样式、纹理相匹配是不明确的。如下图(右)所示,对于彼此冲突的多模态查询(大象文本 + 狗图像),系统就难以检索具有这两个概念的模型——排名靠前的模型中没有大象模型。


随着平台上共享的模型越来越多,平台的搜索体验有望逐步改善。

相关文章
|
存储 关系型数据库 MySQL
轻松入门MySQL:揭秘MySQL游标,数据处理的神秘利器(16)
轻松入门MySQL:揭秘MySQL游标,数据处理的神秘利器(16)
334 0
|
Linux Anolis
性能优化特性之:EXT4 Fast Commit
本文介绍了倚天实例上进行IO优化的特性:Fast Commit,并对其优化原理、使用方法进行了详细阐述
|
人工智能 文字识别 计算机视觉
【AAAI 2024】M2Doc:文档版面分析的可插拔多模态融合方法
M2Doc是一种创新的多模态融合方法,设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块,前者通过门控机制融合视觉和文本特征,后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器,实验证明它能显著提升DocLayNet和M6Doc数据集上的性能,特别是与DINO结合时,在多个数据集上达到SOTA结果。此外,研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。
|
安全 Linux 网络安全
VS Code通过跳板机连接服务器进行远程代码开发
VS Code通过跳板机连接服务器进行远程代码开发
2375 0
VS Code通过跳板机连接服务器进行远程代码开发
|
3月前
|
网络协议 Linux C++
Window 部署 coze-stdio(coze 开发平台)
本指南介绍了如何在本地环境部署 Coze Studio,包括环境配置、镜像源设置、模型配置及服务启动步骤。内容涵盖 Docker 配置、模型添加方法及常见问题解决方案,适用于 Windows 11 系统,需最低 2 核 CPU 和 4GB 内存。
1364 8
Window 部署 coze-stdio(coze 开发平台)
|
9月前
|
JSON 测试技术 语音技术
VITA-1.5: 迈向GPT-4o级实时视频-语音交互
近期,由南京大学和腾讯优图推出的VITA-1.5在魔搭开源。VITA-1.5支持视频,音频,文本输入,以及音频输出。
498 66
|
人工智能
OneLLM,将所有模态和LLM Align的统一框架
OneLLM使用通用编码器和统一的投影模块与LLM对齐多模式输入,它还利用modality tokens 实现了在模态之间的切换。
Uncaught runtime errors: × ERROR Cannot read properties of undefined (reading ‘ vue2&vue-router兼容性问题
Uncaught runtime errors: × ERROR Cannot read properties of undefined (reading ‘ vue2&vue-router兼容性问题
778 0
|
机器学习/深度学习 数据挖掘 C#
ONNX Runtime入门示例:在C#中使用ResNet50v2进行图像识别
ONNX Runtime入门示例:在C#中使用ResNet50v2进行图像识别
331 0
|
机器学习/深度学习 人工智能 自然语言处理
商汤自研的通用Embedding模型Piccolo2
【6月更文挑战第19天】商汤Piccolo2模型**是其新推出的通用Embedding技术,通过多任务混合损失训练提升泛化能力,在CMTEB基准测试中刷新纪录。模型动态调整向量维度与使用MRL方法增强语义理解,但可能增加计算成本,且有观点认为其改进非革命性。[论文链接](https://arxiv.org/abs/2405.06932)
479 1

热门文章

最新文章