拍立淘-以图搜图中的图像搜索算法

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 移动端的以图搜图是一代又一代的图像人,搜索人的梦想。从90年代开始,学术界,工业界做了很多的努力和尝 试。拍立淘-以图搜图,从14年正式立项开始,通过算法/工程/产品的不断打磨,以及兄弟部门的紧密合作,在业务指标的增长的同时,沉淀下来了业界领先的图搜算法。
摘要:移动端的以图搜图是一代又一代的图像人,搜索人的梦想。从90年代开始,学术界,工业界做了很多的努力和尝 试。拍立淘-以图搜图,从14年正式立项开始,通过算法/工程/产品的不断打磨,以及兄弟部门的紧密合作,在业务指标的增长的同时,沉淀下来了业界领先的图搜算法。

一、为什么要做,为什么现在做

1.1 为什么做:

  以图搜图功能,特别是移动端的以图搜图,成为日益增长的流量入口和用户需求。有机构表明:未来5年,用户使用语音和图像进行意图表达的比例将超过50%。手机淘宝每个月的用户反馈中,有相当的比例都是用户对以图搜图的需求和渴望。

1.2 为什么现在:

1. 移动设备的普及:带有摄像头的移动设备的日益普及。
2. 深度学习时代:从2013开始,深度学习在图像、语音、NLP等领域的工业界取得了巨大成功。
3. 大规模的计算平台的普及:如ODPS,亚马逊云。
4. 电商:移动电商的发展,使得通过手机进行所拍即所买成为用户的自然诉求。同时活跃的用户留下的数据使得相关性等能不断提升。

二、算法框架

  拍立淘首次上线是在2014年手机淘宝,很小的入口,功能也比较少。经过了多个版本的迭代和探索,形成了比较稳定的算法框架。如下图:



  上面的框架,有5个算法模块,分别是类目预测,主体检测,图像特征提取,检索索引和排序。其中,与相关性有关的是类目预测,主体检测,特征和排序。而检索索引更多的与scalability相关。

2.1 类目预测

由于特征对于类目的区分能力有限,同时如果不分类目在全量中搜索性能无法满足。因此,我们通过类目预测来判断商品数据哪个类目。目前拍立淘有10多个大类,涵盖上万个叶子类目。


2.2 主体检测

因为商品的背景复杂,主体常常较小,所以为了减少大量背景干扰和多主体的影响,因此需要将搜索目标从图像中提取出来。下面两幅图反应了对于用户的query,进行主体检测和不进行主体检测的搜索结果差异。


2.3 图像特征

图像特征包括深度特征(CNN深度卷积神经网络)和局部特征。CNN从高层提取特征,突破语义鸿沟。局部特征关注图像的局部特征,可以作为CNN特征的辅助和补充。


2.4 检索索引

搜索的过程可以分成离线和在线。离线过程进行商品图像特征的提取,建立索引。而在线的过程,对query提取特征,到分布式的引擎里面去进行快速的查询。


2.5 排序

针对多种图像特征,和非图像的特征,根据不同的优化函数,我们会对结果进行重新的排序。

三、拍立淘业务

  经过长期的迭代和优化,拍立淘不仅能够为用户提供同款和高度相似的搜索结果,并且在覆盖的类目和索引的宝贝上也达到了相当可观的量级。
  目前拍立淘的算法可以支持几亿图片的实时检索索引,其中包括男女服装,包,鞋以及其他如美妆,家居,饰品等不同种类的商品。此外,拍立淘还提供了一键搜索的用户体验,用户只需进行拍照即可得到最终的结果而不需要额外的操作。

目前拍立淘产品有如下的展现形式:
  • 1. 移动端:拍立淘在手淘上有两个入口,分别是搜索框右侧的拍照按钮,以及扫一扫页面中的拍立淘Tab。
  • 2. PC端:PC淘宝的搜索框
  • 3. 外部和网页插件:http://www.pailitao.com



  以下是各类目实拍图在拍立淘中的搜索结果:







最后的话

1. 感谢拍立淘-图像搜索算法团队的同学,上面的算法成果是全团队的成果。感谢拍立淘项目组的全部成员,项目的发展和业务得增长使得算法能不断有机会沉淀和突破。
2. 拍立淘-以图搜图一路走来,部分解决了用户的拍照搜索需求,但是距离充分满足用户的需求还有一定的距离。项目组正在不断优化,从算法/工程/产品的角度去提高。
目录
相关文章
|
存储 Java API
淘宝拍立淘图片搜索接口:轻松找到同款商品!
淘宝拍立淘图片搜索接口:轻松找到同款商品!
|
30天前
|
机器学习/深度学习 JSON 算法
京东拍立淘图片搜索 API 接入实践:从图像识别到商品匹配的技术实现
京东拍立淘图片搜索 API 是基于先进图像识别技术的购物搜索接口,支持通过上传图片、URL 或拍摄实物搜索相似商品。它利用机器学习和大数据分析,精准匹配商品特征,提供高效、便捷的搜索体验。接口覆盖京东海量商品资源,不仅支持外观、颜色等多维度比对,还结合用户行为数据实现智能推荐。请求参数包括图片 URL 或 Base64 编码,返回 JSON 格式的商品信息,如 ID、价格、链接等,助力消费者快速找到心仪商品,满足个性化需求。
|
16天前
|
算法 搜索推荐 API
京东拍立淘图片搜索 API 接口使用指南:从原理到实践
京东拍立淘图片搜索API,基于先进图像识别技术,支持上传图片、URL或拍摄实物搜索相似商品。其特点包括:搜索便捷高效,用户可快速发起搜索;精准匹配结果,通过算法捕捉商品特征确保准确;数据覆盖广泛,依托京东海量商品资源满足个性化需求;智能推荐拓展,根据用户行为挖掘潜在需求,提升购物体验。
|
2月前
|
JSON API 开发者
深入研究:1688 拍立淘图片搜索 API 详解
本文介绍了 1688 拍立淘图片搜索 API 的功能与使用方法。该 API 支持开发者通过上传图片,在 1688 平台上搜索相似商品,返回商品标题、价格、销量等信息,适用于电商数据分析和商品推荐等场景。文章详细说明了接口的请求方式(HTTP POST)、参数(如 app_key、timestamp、sign 和 image)及 JSON 响应格式。此外,提供了 Python 请求示例代码,涵盖图片 Base64 编码、签名生成、发送请求及响应处理等步骤,帮助开发者快速集成与调试。
|
3月前
|
JSON 算法 API
1688拍立淘图片搜索接口全攻略
1688拍立淘图片搜索接口由阿里巴巴提供,支持通过上传图片在1688平台搜索相似商品。该接口基于图像识别技术,具备高精度匹配、丰富商品信息返回、支持多图片格式及可定制化搜索等特点,适用于电商选品、商品溯源和智能购物等场景。开发者需注册获取app_key与app_secret,并通过Python示例代码调用接口,实现图片搜索功能。
205 23
|
3月前
|
机器学习/深度学习 算法 大数据
京东图片搜索拍立淘 API 接口全攻略
京东图片搜索拍立淘 API 基于先进图像识别技术,支持通过上传图片、提供 URL 或拍摄实物搜索相似商品。依托机器学习与大数据,该接口精准匹配商品特征,覆盖广泛商品库,提供高效便捷的购物体验。其特点包括便捷搜索、精准匹配、智能推荐和广泛数据覆盖。示例代码展示如何使用 Python 调用接口,需根据实际文档调整参数与签名算法,确保请求安全性和准确性。
|
4月前
|
JSON API 开发者
淘宝拍立淘图片搜索API接口指南(淘宝API系列)
淘宝拍立淘图片搜索API为电商应用提供强大的技术支持,允许用户通过上传图片查找相似商品。开发者需在淘宝开放平台注册并获取权限,使用HTTP POST请求上传图片数据,返回商品列表信息如标题、价格等。该接口有助于提高购物效率和市场分析。示例代码展示了如何用Python调用此API,包括参数设置、签名生成和请求发送。
|
6月前
|
API 数据库
京东图片搜索商品拍立淘接口(JD.item_search_img)
拍立淘是阿里巴巴淘宝平台推出的基于图像识别技术的购物应用功能,旨在提升商品搜索效率与准确性。用户可通过上传图片快速找到相似商品。其核心接口item_search_img利用先进图像识别技术提取商品特征,并在数据库中匹配相似商品,返回包含商品ID、标题、价格等详细信息的结果列表,支持按价格、销量等多种方式排序,极大优化了用户的购物体验。
|
5月前
|
API Python
京东拍立淘图片搜索商品接口系列(京东 API)
简介:本文介绍了如何使用拍立淘图片搜索 API 在京东平台上查找相似商品。首先需安装 Python 库 `requests`,并通过内置库 `hashlib` 生成签名。API 支持通过图片 URL 或 Base64 编码的图片进行搜索,返回商品名称、价格等信息。示例代码展示了如何构建请求并处理响应。应用场景包括电商购物助手和竞品分析,帮助用户和商家提高购物效率和市场竞争力。
|
10月前
|
JSON 算法 API
京东以图搜图功能API接口调用算法源码python
京东图搜接口是一款强大工具,通过上传图片即可搜索京东平台上的商品。适合电商平台、比价应用及需商品识别服务的场景。使用前需了解接口功能并注册开发者账号获取Key和Secret;准备好图片的Base64编码和AppKey;生成安全签名后,利用HTTP客户端发送POST请求至接口URL;最后解析JSON响应数据以获取商品信息。