捏脸玩法是装扮类应用的一个核心功能。本文主要介绍了捏脸的AI相关玩法之一即基于用户上传的照片在淘宝人生2（又名：第二人生）一键生成专属3D数字人，阐述了淘天FC淘宝人生技术团队在图片捏脸上探索的心路历程，核心原理以及技术框架。本文的视角也不局限于图片捏脸本身，也介绍了其他AI类相关玩法在装扮类应用落地的情况，希望能对大家有所启发和帮助。
背景
淘宝人生是国内用户规模较大的装扮类应用之一，在淘宝中扮演了用户的第二人生的重要作用。淘宝用户在淘宝既能购物，又能自由捏脸，打造自己的虚拟形象和装扮自己的小屋。
淘宝人生系列应用也内置了很多互动类玩法，通过提供多元的玩法体验让用户在逛淘宝时觉得好逛又好玩。
▐ 淘宝人生1和淘宝人生2风格对比
淘宝人生先后推出了两个版本，淘宝人生1和淘宝人生2（又名：第二人生），淘宝人生2作为淘宝人生1的延续，相比于之前的卡通风格更偏向于超写实风格，同时淘宝人生2也是市面上少有的将超写实风格落地到移动端的装扮类应用。
▐ 淘宝人生2的AI玩法
虚拟服饰资产生成
左：AI 算命师 中：照片风格化 右：照片捏脸
淘宝人生2提供了很多AI相关的玩法。比如购买淘宝真实的衣服以后为你生成一套该样式的虚拟服饰资产并穿搭到自己捏好的虚拟形象中，AI星象占卜师涂山赫言通过提供财运占卜等服务迎合当下年轻人的精神需求，同时照片风格化可以将捏好的形象二次创作，产生更多好玩的风格。
用户还可以通过上传图片一键生成带有自己特征的虚拟数字形象，大幅提升用户的捏脸效率。
本文将详细介绍照片捏脸的功能。
照片捏脸背景介绍
捏脸玩法是淘宝人生2中用户刚需且高频使用的一个核心功能。用户在玩捏脸时一般会倾向于利用提供的捏脸滑杆DIY一个类似自己或者自己喜爱的idol的3D虚拟形象。
根据提供的捏脸滑杆手动捏脸且要与自己心目中的形象达到一定的相似度是一个非常耗时的过程。
整个捏脸的调节项有80多个，用户需要每次进入各个五官调节项的界面去调节每个值，同时每个五官调节项对应还有各个细分区域的子调节项。
整体捏一张比较像的人脸不算上细节上的微调，大概需要半小时左右。
照片捏脸解决的痛点
为了追求超写实风格的3D数字人形象，我们无法对八十多个五官捏脸调节项进行精简去提升用户的捏脸效率，不然会影响捏脸的表达能力。但是整个复杂的专业捏脸系统很容易消耗用户的耐心，用户往往在捏个10分钟因为无法得到满意的形象而被劝退，给用户带来不好的产品体验。
为了提升用户的捏脸体验，减少用户的捏脸时间，有没有什么方法可以让用户更快的生成心目中的3D数字人形象呢？
回到文章的标题，如何在淘宝人生2中一键定制3D数字人，解决用户侧手动捏脸耗时较长的痛点？
经过反复讨论，我们的解决方案是用户上传自己的照片或者自己idol的照片通过AI算法一键生成用户的专属3D数字人。
通过上传用户照片自动捏脸可以带来的优点有：
- 大幅提升捏脸效率，相比于原先手动捏脸动辄半个小时的时间，当前照片捏脸的时间控制在5s以内，捏脸时间缩短为原有的1/360
- 利用用户上传的图片可以定制化用户想要的形象，使得用户更快速获取心目中的虚拟数字形象
业界3D照片捏脸应用
2D的照片风格化应用较多，基于输入照片重建3D卡通形象由于技术难度较高相关应用较少。
一般业界基于照片自动重建3D卡通形象的应用有三个方向：
- 第一个方向是允许用户个性化装扮自己的虚拟聊天形象，并在聊天窗口中或者视频通话中使用，隐藏用户的真实人脸信息，提升社交的私密感；
- 第二个方向是个性化生成用户的数字分身，并基于该数字分身产生更多互动的内容生产与创作，通过照片捏脸提供既美又像的数字分身，提升用户在虚拟空间的认同感。
- 第三个方向是用户创建个性化3D游戏形象，并将捏脸形象应用在游戏中，提升用户的沉浸感。
照片捏脸技术指标
淘宝人生2的照片捏脸更偏向于第二个方向，为淘宝用户提供一个既像又美的数字分身，技术同学主要的负责的是“像”，美术同学负责让形象更“美”。那么如何设置一个可靠的技术指标去评估最终的效果有没有达到“像”的预期呢？经过团队反复的探讨与调研，淘宝人生2的照片捏脸采用了业界3D人脸重建领域常用的评估方式之一NME指标并结合主观评测打分的方式评估3D数字人形象与输入图片的相似度。
▐ NME指标
公式参考：
NME指标全称是normal mean error，该指标用来评估3D重建的人脸与真实人脸的重建误差，业界评估基于图片重建3D人脸的NME常用的做法是将照片建模的3D人脸投影到2D平面上并计算该人脸轮廓关键点和用户照片的人脸关键点的距离，来衡量捏脸的面部五官和输入照片的相似度。这里的d一般取人脸框的对角线距离。
NME越大，代表重建误差越高。
▐ 真实人脸重建算法对应指标
| 真实人脸重建算法 | 评估指标 NME |
| 3DDFA | 3.78 |
| 3DDFA + SDM | 3.43 |
| BCLL | 2.47 |
| PRN | 2.75 |
基于卡通形象的基础模型的3D数字人有一定的风格化特征，所以基于图片捏脸的卡通形象重建都会比真实人脸重建的重建误差要高一些。
▐ 淘宝人生2捏脸采用的评估方式
NME指标 + 主观评测打分评估3D风格化捏脸 淘宝人生2的照片捏脸采用量化指标加主观评判的方式相结合，量化指标覆盖的只是人脸关键点部分的误差，更侧重于“形”，在整体“神”的相似度上还需要结合不同的人的主观打分来评估。
如何在淘宝人生2一键定制你的专属3D数字人（下）：https://developer.aliyun.com/article/1443486
