开发者社区> 费尔磐> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

拍立淘-以图搜图中的图像搜索算法

简介: 移动端的以图搜图是一代又一代的图像人,搜索人的梦想。从90年代开始,学术界,工业界做了很多的努力和尝 试。拍立淘-以图搜图,从14年正式立项开始,通过算法/工程/产品的不断打磨,以及兄弟部门的紧密合作,在业务指标的增长的同时,沉淀下来了业界领先的图搜算法。
+关注继续查看
摘要:移动端的以图搜图是一代又一代的图像人,搜索人的梦想。从90年代开始,学术界,工业界做了很多的努力和尝 试。拍立淘-以图搜图,从14年正式立项开始,通过算法/工程/产品的不断打磨,以及兄弟部门的紧密合作,在业务指标的增长的同时,沉淀下来了业界领先的图搜算法。

一、为什么要做,为什么现在做

1.1 为什么做:

  以图搜图功能,特别是移动端的以图搜图,成为日益增长的流量入口和用户需求。有机构表明:未来5年,用户使用语音和图像进行意图表达的比例将超过50%。手机淘宝每个月的用户反馈中,有相当的比例都是用户对以图搜图的需求和渴望。

1.2 为什么现在:

1. 移动设备的普及:带有摄像头的移动设备的日益普及。
2. 深度学习时代:从2013开始,深度学习在图像、语音、NLP等领域的工业界取得了巨大成功。
3. 大规模的计算平台的普及:如ODPS,亚马逊云。
4. 电商:移动电商的发展,使得通过手机进行所拍即所买成为用户的自然诉求。同时活跃的用户留下的数据使得相关性等能不断提升。

二、算法框架

  拍立淘首次上线是在2014年手机淘宝,很小的入口,功能也比较少。经过了多个版本的迭代和探索,形成了比较稳定的算法框架。如下图:



  上面的框架,有5个算法模块,分别是类目预测,主体检测,图像特征提取,检索索引和排序。其中,与相关性有关的是类目预测,主体检测,特征和排序。而检索索引更多的与scalability相关。

2.1 类目预测

由于特征对于类目的区分能力有限,同时如果不分类目在全量中搜索性能无法满足。因此,我们通过类目预测来判断商品数据哪个类目。目前拍立淘有10多个大类,涵盖上万个叶子类目。


2.2 主体检测

因为商品的背景复杂,主体常常较小,所以为了减少大量背景干扰和多主体的影响,因此需要将搜索目标从图像中提取出来。下面两幅图反应了对于用户的query,进行主体检测和不进行主体检测的搜索结果差异。


2.3 图像特征

图像特征包括深度特征(CNN深度卷积神经网络)和局部特征。CNN从高层提取特征,突破语义鸿沟。局部特征关注图像的局部特征,可以作为CNN特征的辅助和补充。


2.4 检索索引

搜索的过程可以分成离线和在线。离线过程进行商品图像特征的提取,建立索引。而在线的过程,对query提取特征,到分布式的引擎里面去进行快速的查询。


2.5 排序

针对多种图像特征,和非图像的特征,根据不同的优化函数,我们会对结果进行重新的排序。

三、拍立淘业务

  经过长期的迭代和优化,拍立淘不仅能够为用户提供同款和高度相似的搜索结果,并且在覆盖的类目和索引的宝贝上也达到了相当可观的量级。
  目前拍立淘的算法可以支持几亿图片的实时检索索引,其中包括男女服装,包,鞋以及其他如美妆,家居,饰品等不同种类的商品。此外,拍立淘还提供了一键搜索的用户体验,用户只需进行拍照即可得到最终的结果而不需要额外的操作。

目前拍立淘产品有如下的展现形式:
  • 1. 移动端:拍立淘在手淘上有两个入口,分别是搜索框右侧的拍照按钮,以及扫一扫页面中的拍立淘Tab。
  • 2. PC端:PC淘宝的搜索框
  • 3. 外部和网页插件:http://www.pailitao.com



  以下是各类目实拍图在拍立淘中的搜索结果:







最后的话

1. 感谢拍立淘-图像搜索算法团队的同学,上面的算法成果是全团队的成果。感谢拍立淘项目组的全部成员,项目的发展和业务得增长使得算法能不断有机会沉淀和突破。
2. 拍立淘-以图搜图一路走来,部分解决了用户的拍照搜索需求,但是距离充分满足用户的需求还有一定的距离。项目组正在不断优化,从算法/工程/产品的角度去提高。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
大规模图像识别场景中的实体存储与检索
背景图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术。图片识别功能基于图片AI技术,能够检测图片标签和置信度。 当前图片识别分析出的数据越来越丰富,随着实体信息(含原始数据及处理后的结构化元数据信息)的不断膨胀也带来了更多挑战。首先,如何弹性存储无限增长的海量数据并保证数据不丢不错。其次,信息存储后如何进行后续数据管控分析,如何从多个维度对外提供服务。这些对
506 0
【漫画】七种最常见的排序算法(动图版)(中)
【漫画】七种最常见的排序算法(动图版)
35 0
《中国人工智能学会通讯》——11.44 自然语言文本中的实体链接技术
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.44节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
969 0
《中国人工智能学会通讯》——11.51 基于幻象技术的异质人脸图像合成
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.51节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1231 0
图像缩放算法【转】
转自:http://blog.csdn.net/qq_21792169/article/details/51020005 版权声明:本文为Linux_Google原创文章,转载请加上原创链接。 转载别人的,但是这篇文章写得确实太好了,所以想分享出来,可是原创文章地址找不到了 ,很可惜。
995 0
图像分析------直方图分析
<p style="color: rgb(51, 51, 51); font-family: Arial; font-size: 14px; line-height: 26px;"><strong><span style="color: rgb(255, 0, 0);"><span style="font-size: 16px;">直方图介绍</span></span></strong></p
2390 0
+关注
1
文章
0
问答
来源圈子
更多
+ 订阅
相关文档: 智能推荐AIRec 智能开放搜索OpenSearch
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载