拍立淘抠图体验优化总结

简介: 本文将介绍拍立淘结果页从上线至今出现的体验问题及解决方案

前言

拍立淘结果页从上线至今,经历了许多年的迭代,始终保留了一个抠图的功能——用户可以在图片上自主选择要搜索的图片区域

image.png

功能经过这么多年使用,由于当初的实现没有那么精细,导致一直存在一些体验上的问题,用户重点反馈的内容包含以下几个部分:

  1. 抠图不易操作
  2. 找不到抠图框
  3. 小物件搜索不出来
  4. ....


基于以上这些问题,我们进行了一一解决,下面进入正题。


交互体验

 找不到框


用户在进入结果页后,会在背景处显示一整张原图,由于底部存在结果面板,导致图片显示区域被压缩,所以会有一部分图片被隐藏,对于不了解功能的用户来说,不知道图片是可以滑动的,假如主体框刚好就在隐藏的图片区域里,用户就没法框选主体了。

image.png

 抠图不易操作


原先的抠图组件存在一些bug

  • 触摸冲突

image.png

image.png

image.png

抠图组件包含以下几种基础操作

  1. 边框四个角调整
  2. 边框四个边调整
  3. 边框整体位置调整
  4. 主体圆点选中


原先的抠图组件对于触摸的逻辑缺少封装设计,所有逻辑都糅合在一个类中,代码不易维护。重构后的组件对于抠图操作进行了抽象,基于手指的动作,抽象了以下接口

/**
 * 前置判断
 */
fun judge(fingerArray: SparseArray<FingerPos>, selectedObjectRegion: RegionPart, totalObjects: List<RegionPart>, selfDefinedObject: RegionPart): Boolean
/**
 * 手指松开
 */
fun onTouchRelease(selectedObjectRegion: RegionPart, totalObjects: List<RegionPart>, selfDefinedObject: RegionPart)
/**
 * move 回调
 */
fun onTouchEvent(fingerArray: SparseArray<FingerPos>, selectedObjectRegion: RegionPart, totalObjects: List<RegionPart>, selfDefinedObject: RegionPart): Boolean

基于组件提供的操作,进行了以下封装

image.png


后续若有新的操作,继承拓展即可

对于触摸操作,我们定义了以下优先级,优先级从高到低排列

  1. 主体点击
  2. 图片缩放
  3. 四角调整
  4. 四边调整
  5. 框体位置调整
  6. 图片移动

触摸流程如下

640.png

图片缩放

由于图片整体缩放到了结果面板上方,如果用户想要搜一些特别小的物件,例如模特手上的手表,那么必然不好操作,因此我们增加了图片缩放的功能,图片缩放功能完全还原iOS系统相册的实现。

image.png

下面介绍一下缩放的实现。



观察 iOS系统相册的缩放能力,可以发现,当双指缩放图片时,图片会基于双指中间那一点进行缩放,保证双指中间的内容是不变的。

image.png

并且当手指距离不变,围绕一个点旋转时,手指中间的那个像素是始终不变的。


  • 旋转

image.png

image.png

基于以上观察,我们可以得出基本的实现方案

  1. 双指按下时,计算出当前双指中间的像素点在图片上的绝对坐标
  2. 双指移动时,基于手指移动的距离,放大或者缩小图片
  3. 双指移动时,保证按下时的中间像素点始终保持在手指中间
 override fun onTouchEvent(fingerArray: SparseArray<FingerPos>, selectedObjectRegion: RegionPart, totalObjects: List<RegionPart>,selfDefinedObject : RegionPart): Boolean {
        targetView ?: return false
        if (fingerArray.size() < 2) {
            scale = -1f
            return true
        }
        val pos1 = fingerArray[0] ?: return true
        val pos2 = fingerArray[1] ?: return true
        if (scale < 0) {
            //刚触发双指缩放,记录当前scale 值
            scale = targetView!!.getImageView().scaleX
            ...
            //记录手指中间的像素坐标
            centerPosition = getCenterPosition(pos1, pos2)
        }
        //计算当前双指距离
        val currentDistance = sqrt((sqr(pos1.currX - pos2.currX) + sqr(pos1.currY - pos2.currY)).toDouble()).toFloat()
        //计算上一次触摸时的双指距离
        val lastDistance = sqrt((sqr(pos1.lastX - pos2.lastX) + sqr(pos1.lastY - pos2.lastY)).toDouble()).toFloat()
        //计算第一次进入双指缩放时的手指距离
        val startDistance = sqrt((sqr(pos1.startX - pos2.startX) + sqr(pos1.startY - pos2.startY)).toDouble()).toFloat()
        val delta = (currentDistance - lastDistance) / startDistance
        zoomScale += delta
        zoomScale = maxDelta.coerceAtMost(minDelta.coerceAtLeast(zoomScale))
        val currScale = scale * zoomScale
        targetView!!.setImageScale(currScale)
        //计算缩放后的手指中间像素坐标
        val currPos = getCenterPosition(pos1, pos2)
        //根据坐标和 scale,移动图片,保证图片在正确的位置
        moveImage((currPos[0] - centerPosition!![0]) * currScale, (currPos[1] - centerPosition!![1]) * currScale, false)
        return true
    }

抠图流程

 流程梳理


  • 结果页流程

image.png

可以看到,在发送请求时,会先缩放一次图片(长边最长640,短边最长320),然后服务端处理完成后,同时将图片保存到存储服务上,生成链接,连同内容数据打包回传给端上,然后端上交付给前端进行渲染。


  • 用户抠图流程

image.png

 现有问题


分析以上流程就会发现,客户端初始化请求时将图片进行了缩小,上传到服务端以后会得到一个图片链接,后续前端的所有请求都会基于这个链接。因此,如果用户想要搜索一个模特手上的手表,对于用户来说,手表看着挺大的,但是如果是缩放后的图,手表那一点大小,基本是不可识别的。

image.png

可以看到,此时搜索后的结果和图片内容是完全无关的。

 优化


我们对抠图后的流程做了调整,当用户想要搜索的图片区域做了调整后,端上将图片从原始图片(未缩放)中切割出来,重新走一遍图片上传流程,基于切割后的图进行商品召回,增大 query 图像的尺寸,提高准确度。

网络异常,图片无法展示
|

可以看到效果十分明显,优化后的搜索结果和商品相关度大幅度上涨。


总结

对于老代码,我们要勇于去优化重构,勿以点小而不为(手动滑稽~)目前整体改动已经跟随 10.15.0 版本上线,并且增加了 ab,相信数据上会有较大的提升~

相关文章
|
4月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之文生图下架后,有什么替代的办法
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
11月前
|
机器学习/深度学习 存储 算法
阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?
@luotuoemo飞机@TG 阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?图像搜索在现代搜索系统中扮演了重要角色,尤其在电子商务网站如阿里巴巴等,它更是一个必不可少的功能。拍立淘是阿里云国际站的一个以图搜图功能,它使用了复杂的图像搜索算法进行图片匹配和识别。以下是对该算法的简单描述。
|
5月前
|
人工智能 算法 搜索推荐
淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
128 0
|
人工智能 城市大脑 API
基于阿里云视觉智能开放平台的动漫化视频产出方案
阿里云视觉智能开放平台的现有API能力,做出一个批量化生成动漫化视频的方案。
845 2
基于阿里云视觉智能开放平台的动漫化视频产出方案
|
缓存 编解码 边缘计算
淘宝拍立淘多码识别方案总结
本文通过拆解原始问题、发散思路优化等方式,记录了扫一扫从单码到多码识别的技术框架改造及多码识别率优化方案。其中涉及解码SDK的能力、码处理技术链路、码转换算法、降低漏检率策略等设计与实现。
224 0
|
机器学习/深度学习 人工智能 并行计算
AI 一键抠图助你快速打造活动宣传海报
本文介绍使用 PaddleHub 工具快速完成人像抠图。
401 0
AI 一键抠图助你快速打造活动宣传海报
|
达摩院
阿里云达摩院视觉智能开放平台给老旧照片一键上色功能
阿里云达摩院视觉智能开放平台给老旧照片一键上色功能
371 0
阿里云达摩院视觉智能开放平台给老旧照片一键上色功能
|
新零售 存储 编解码
全景封面视频生成技术在淘宝的应用
双促期间,手淘产出了大量的高质量全景视频,并且根据业务配置生成了大量的封面视频。封面视频在双促期间有了大量的曝光和引导观看。在本地化会场,封面视频承接的模块点击率提升了 2 倍。
448 0
全景封面视频生成技术在淘宝的应用
|
设计模式 数据采集 人工智能
达摩院视觉AI助力商家制作海量双十一宣传海报
从达摩院宣布成立起,这个阿里的“神秘机构”就备受外界关注。造福人类,世界第一,高端,神秘……这些标签也让我们对达摩院的技术专家产生了好奇。今天就给大家揭秘下大牛们在用的抠图能力!~
达摩院视觉AI助力商家制作海量双十一宣传海报
下一篇
无影云桌面