比男友更了解你的穿搭喜好,这个模型可以陪你挑衣服 | 论文

简介:
本文来自AI新媒体量子位(QbitAI)

购物网站总想通过推荐系统让你多买几件衣服。

但穿搭可是个不太好把控的东西,复杂的服装风格不仅让人挑得眼花缭乱,推荐系统也无法准确推荐出你想买的。最近一项研究表示,有个模型能准确判断衣服的风格,推荐最有可能被购买的服装。

这项成果来自首尔国立大学计算机科学与工程学系的Hanbit Lee、Jinseok Seol和Sang-goo Lee三人。本周一,他们在arXiv上发表了题为《Style2Vec: Representation Learning for Fashion Items from Style Sets》的论文。

量子位挑选精彩的部分编译整理,与大家分享这个比男友更了解你穿搭喜好的模型。

论文摘要

随着在线时尚产业的发展,我们对潮流推荐系统的需求越来越大且要求越来越高。对于推荐系统来说,找到用户喜欢的风格比根据购买记录推荐相似衣服重要得多。

只知道用户一个月中购买了礼服和工装裤还不能做些什么,因为我们不知道这些服装具有什么特征。如果能用一种可行的方式表示时装的风格特征,并将它们整理成连贯的风格集,将能向用户准确推荐他喜欢的衣服。

在这里,我们引入了一种服装向量表示模型,并将它命名为Style2Vec。基于词嵌入中使用的直观分布式语义,Style2Vec通过对照数据集中的穿衣搭配了解时尚的表现形式。

为了准确评估,我们用类比测试评估各种与时尚相关的语义,如形状、颜色、图案甚至是潜在的样式。最后,用Style2Vec将衣物风格分类,结果显示,它能胜任时装相关的分类任务。

数据集

Polyvore是一个服装在线搭配的网站,搜罗了几百万件网店的流行单品,用户可以根据自己的喜好将服装图片自行组合查看穿搭效果。

 图片来自Polyvore

研究人员在Polyvore上选取了将近30万套流行服装的搭配,总共包含53460件上装、43180件下装、31199件外塔、77981双鞋子和30852件连衣裙,总共23万多件不重复的单品,每一套搭配中含有2到4样。

获取了这么多服装搭配的样例后,研究人员用一个16层的VGGNet结构将图片映射成1024维的向量。

整个网络用小批量梯度下降法(Mini-batch Gradient Descent,MBGD)通过batch normalization的Adam优化器进行训练。

风格化样式空间

之后,研究人员用t-SNE算法将1024维的服装特征嵌入2D空间。

 可视化样式空间

从上图可以看到,算法做的不错。左上角是划分出的正装区,包含一些西服、礼裙与高跟鞋;左下是朋克区,汇集了张扬的摇滚元素与朋克范;右上是休闲区,带着满满的居家与舒适感;紧挨着休闲区的右下部分是被分出的运动鞋与休闲鞋。

这个风格化的样式空间证明了模型可以比较准确地将图像转换到合理的样式空间中。

类比测试

为了研究这些潜在风格特征的内在特征,研究人员进行了潮流类比测试。测试题很有意思,也很固定——如果x对应y,那么z对应着?

比如这个问题:“如果朋克靴对应夹克,那么高跟鞋对应什么?”研究人员想用这种形式测试是否存在一些潜在的与风格有关的规则。下面这张图是模型匹配的结果——

我们可以看到,模型类比推理显示出很多隐藏的规则。(a)表示了颜色和样式的转移,即粉色短裙-黑色短裙和黑色夹克-粉色夹克之间的匹配;(b)案例与(a)类似,是格子裤-黑裤与黑裙-格子裙之间的转换;(c)(d)是风格的转换,即朋克上衣-休闲上衣与朋克裤-休闲裤的匹配;(e)与(f)显示出正装与休闲装的转换。

通过这项对比实验,我们可以看出模型的特征向量具有颜色、图案、形状等基本特征以及潜在的分类特征。

能够判断出你喜爱哪一类风格的服饰,知道这些风格含有哪些时尚元素——看来,这个模型有能力做你的穿搭助手,有潜力被应用在网店的推荐系统中。

而你,离剁手又进了一步。

最后,附论文地址:

https://arxiv.org/pdf/1708.04014v1.pdf

本文作者:安妮 
原文发布时间:2017-08-16
相关文章
|
4月前
|
计算机视觉 Python Windows
今天这几张照片在我的朋友圈里炸锅啦!背后的真相令人...
今天这几张照片在我的朋友圈里炸锅啦!背后的真相令人...
43 0
|
对象存储
七夕快到了,来创造一副浪漫的鹊桥插画吧
本次通过加载和推理SD模型对象存储OSS Bucket,挂载到PAI-EAS服务,实现模型部署,加载和推理SD模型,制作属于自己的七夕画作。
|
定位技术 网络架构
搞不懂缺省路由?一个故事告诉你
搞不懂缺省路由?一个故事告诉你
117 1
|
人工智能 文字识别 算法
穿颜色成对的袜子,追最新的剧:这群coder正帮视障者移走身上的大山
穿颜色成对的袜子,追最新的剧:这群coder正帮视障者移走身上的大山
114 0
|
存储 人工智能 自然语言处理
ChatGPT 大智近妖,从宇宙人生到手搓光刻机,从哄女朋友到写年终总结我们聊得非常开心,反而让人越来越忧心
都说 ChatGPT 要干掉程序员,清理搜索引擎,取代 Stack Overflow,还能消灭人类,这些有些言过其实了。ChatGPT 的定位是一个人工智能助理,它说,它的主要目的是通过回答用户的问题,为用户提供帮助。在体验了一天后,我相信对它的调教是成为一个正直的人,它也是这样做的。 它谦虚有礼,无疑是一个合格的助理,确实可以为我们提供很大的帮助。生成的回答条理清晰,思路明确,令人信服。但是从刚接触的惊奇开心过后,随着时间推移,我却越来越忧心了。 以下的内容是我的体验过程和其中的思考,其中引用的部分为 ChatGPT 的回答内容。希望对你了解它有一些帮助。
350 1
ChatGPT 大智近妖,从宇宙人生到手搓光刻机,从哄女朋友到写年终总结我们聊得非常开心,反而让人越来越忧心
|
人工智能 移动开发 自然语言处理
失独妈妈求助阿里:将逝去女儿做成AI,3个月后重现女儿声音
失独妈妈求助阿里:将逝去女儿做成AI,3个月后重现女儿声音
404 0
|
算法
不开玩笑,阿里人真的靠脸吃饭了
这阵子,阿里的程序猿们倒腾完自己家的商店又倒腾了食堂,没人管的餐厅靠脸吃饭,感受一下~
3365 0