VR购物之初体验:Buy+-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

VR购物之初体验:Buy+

简介: 在云栖TechDay 活动第二十七期,来自淘宝的无线技术专家胡晓航(宋五)带来题为《Buy+和造物神》的分享。他首先详细讲解了移动端Buy+的空间移动、商品交互和链路闭环三大核心问题以及对应的解决方案;并对比了VR购物和传统购物的区别,指出了VR购物的优点;分享最后宋五还介绍了淘宝的造物神计划。

在云栖TechDay 活动第二十七期,来自淘宝的无线技术专家胡晓航(宋五)带来题为《Buy+和造物神》的分享。他首先详细讲解了移动端Buy+的空间移动、商品交互和链路闭环三大核心问题以及对应的解决方案;并对比了VR购物和传统购物的区别,指出了VR购物的优点;分享最后宋五还介绍了淘宝的造物神计划。

以下内容是根据PPT和现场分享整理而成。


Buy+发展历程

fcafaf27448ff2326fe96aae23d7bfb2c2ccaebb

Buy+的整体进化过程如上图所示,从最初提出概念到产品上线,经历了一个漫长的过程。始于愚人节的Buy+宣传视频,该视频阐述了未来的购物体验,引起了较好的市场反馈,也坚定了阿里在VR购物上的决心;在5月20号,阿里推出了虚拟伴侣的活动视频,市场反馈同样不错,进而促进了淘宝造物节 PC版Buy+的出现;PC版的Buy+ 1.0 包括买包和买内衣的两个场景,在上海造物节上展示了三天,活动效果极佳;但是,PC加HDCV5这种方式不便于推广,且用户接触面也相对较窄,因此移动端的Buy+应运而生;移动端的Buy+于11月1号上线,到11月11号下线,之所以快速下线是因为两个原因:一是Buy+内的商品较少,售完后自然要下线;二是其内容更新速度也跟不上,因此需要暂时下线,预计在明年三月份会以新的方式重新上线,敬请期待。

Mobile Buy+

69e3c68ae4ab8e0e31cbb5c9cebd407259bdd864

在设计移动端Buy+时,我们选择了手机、手机淘宝APP、眼镜、全景视频四部分材料。之所以选择手机是因为其普遍率相比于PC和HDCV5高出很多;而采用手淘APP避免了用户重新下载安装一个新的APP,当然手淘自身的技术体系和包的大小会在一定程度上限制Buy+的发挥;眼镜方面,十几块到上百块的眼镜体验效果相似,用户体验成本较低;全景视频目前的采集技术已经比较成熟,采集设备也较多。

Buy+核心解决了三个问题:空间移动、商品交互和链路闭环(支付链路闭环)。

空间移动

05879795f7f12aabbbad6a89335903d90b63fe8d

空间移动方案较为简单,页面中的中心蓝点对准地面上的箭头就可以移动了。这其中包括正向播放的视频和逆向播放的视频,向前走就是播放正向的视频,向后走则播放逆向视频。尽管大致原理较为简单,但在处理一些细节时,需要花费大量的精力,例如在处理前进后退时出现的跳动现象(这是因为每个视频都是从关键帧开始播放的,它前进后退时会出现一些跳格)花费了大量的投入,才能确保整体切换过程的流畅性。

商品交互

620b53cfb341365b54f4bcae1141fb77c2cacc5f

 

上图中的蓝点是商品的标定,由于在视频中,随着走动,商品的位置和形状都会发生变化,这就需要将商品实时标注准确,这是一个很大的挑战。

最初尝试的方案是拍摄时在商品的位置放置特殊颜色的物品,每次拍摄两次,第一次拍摄正式商品;第二遍拍摄特殊颜色的替代物,然后两者结合可以把坐标系计算出来。但该方案在真实场景中并不理想,在图像识别颜色时,会有很有其他的物品或灯光干扰点位把握。后来尝试了更深一点的技术手段,通过测量商品和摄像头之间的位置,测量出坐标系,让摄像头做匀速运动,然后根据矩阵反算物品所在的坐标。这个算法中存在几个问题,一是每个摄像头的变换矩阵都不相同,每换一个摄像头需要重新计算其变换矩阵;另外摄像头向前推进时,尽管可以计算出商品的矩阵位置,但商品实际可能被其他物品所遮挡,这种情况是无法解决的。在实际应用中,坐标系的误差在1-2厘米左右,但是每次摄像头变化时,需要重复之前的工作,更为重要的是无法处理商品遮挡的问题。

经过反复尝试摸索,最后得到一种成本和精确度都较高的方式。在播放视频时,采用鼠标跟踪商品,记录鼠标的位置,即可完成商品的标定,基本上一个场景十分钟左右就可以完全标定。

7c7586525df1580e5224985769c8ba62b61d4a9e

标定和聚焦标定点之后,就可以进行商品展示了,它看上去类似于一个3D模型,但其实不是,它是一系列图片的序列组合,大概是60帧左右的图片。

这其中我们做了几件事情:一是将商品拍成图片,然后将每张图片的周边扣成透明(这其中采用一些辅助的手段,如滤幕抠图等),使得图片与背景能够完美地融合在一起。

最后共上架150个商品,消费者与商品之间的交互做到了水平方向的360度交互。

支付链路闭环

af530e024480d011c34acdfba1ffef27fb9ce4f1

 

Buy+的交易系统是支付宝团队一起设计完成的。上图是支付宝交易最后一步的界面,基本上完成了传统电商的基础交易功能。Buy+的交易系统有两个版本:在全景单屏操作中不存在VR交易,而是采用传统的支付手段,这是因为在这个场景中已经存在手动操作屏幕,传统的交易效率更高;在分屏,带上眼镜之后,消费者需要在一个相对沉浸的环境去体验整个过程,因此采用的VR版支付,也就是现在支付宝中的VR Pay,已大规模推广。

VR购物和传统购物的差别

ad0e159bc13db98d566b927cbc57cd36e22615c1

 

VR购物和传统购物还是存在很多差别的,VR购物能采集到的维度和数据会比传统电商多的多。传统电商是根据浏览记录和点击历史分析消费者的购物兴趣和热点,而VR购物更多的是分析消费者的视线聚焦的位置和关注的区域,形成热力图数据,如上图所示:红色(偏深色)的区域是用户看的比较多的,黄色的区域是用户视线聚焦比较多的,这些数据采集之后,可以反哺线下商品的位置摆放,更为精准的捕获用户的需求。

造物神计划

随着VR行业的发展,未来的BUY+也会有更多的想象空间。但BUY+只是一种购物的形态,它的发展依赖整个淘宝的3D化进程,后续在虚拟环境、虚拟购物中,无论是AR还是VR,都会用到3D模型去描述商品或整个环境,因此为了将来可以有一个更好的购物体验环境,阿里启动了造物神计划,主要的方向就是降低3D模型制作的成本。

 

416de3a3f407a909827e64a4b31b12ada474ed91

从上图可以看大致互联网媒体升级的过程,首先是文本;然后是图品、视频;再到交互式内容。从文字到图片,促进浏览量上升了94%,转换率升高了54%,销售额增加了35%;从图片到视频,又增加了97%的购买意向和30%的销售影响;从视频升级到3D、VR/AR可交互内容,将会增加四倍左右的产品互动,增加10%—30%的购买转换以及提升45%的购买意向。由于生产3D、VR/AR等内容的成本高,制作复杂,实现门槛较高,现阶段无法一步实现从视频到可交互内容的转变。

但媒体内容形式的进化从未停止,未来一定会有AR/VR的发展机会,需要我们产生更多的优质内容区填充将来的AR/VR实践。

bda979f8f1eba949cdfac4b27f92d232e798374e

目前手机淘宝中已经开始了一些媒体的变化,如上图左侧的3D模型,消费者可以进行任意的操作,而且目前已上线。右上角是全景店铺,通过更加接近实体的方式描述店铺,类似于Buy+,消费者可以感受到店铺内的具体商品;右下角是新型的营销方案,采用VR全景视频让商家的营销手段变得更为丰富。

5924cde445f77ec08575ab1fdbdf2d42652b623f

通过造物神计划,阿里希望有更多的开发者和ICV厂家同我们一道开发、设计3D模型,然后将媒体升级的步骤往前推进一步,从传统的图片、视频进入表现能力更为丰富的3D世界。


关于分享嘉宾:

胡晓航(宋五),淘宝无线技术专家。淘宝VR&AR业务负责人,主要负责Buy+和造物神计划。前几年是做营销互动,主要负责双十一的互动项目,如红包雨、红包裂变、密令红包等。在高并发项目、红包以及虚拟业务方面有比较深的积累。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章