带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究（2）
https://developer.aliyun.com/article/1262086?groupCode=taobaotech
美颜
妆容的细节要求非常多，所以最便捷的方式就是使用贴图。基础形体的脸部已经有一张基础贴图了，可以简单理解 成“素颜”；要在素颜上画不同的妆容，我们做法是“动态合成纹理”。整个过程分为两步。
渲染到纹理（Render To Texture）：第一步创建一个可渲染对象（Render Target），把基础纹理贴图渲染到这 个可渲染对象上，再把妆容纹理贴图渲染到同一个可渲染对象上。这一步需要注意艺术家在绘制妆容纹理时，需要 和基础纹理的UV是一一对应的。
使用可渲染纹理：第二步就是把合成好的纹理渲染到模型上。
二次元还是三次元 - 渲染风格
最后到了给它设定风格的时候。有人会喜欢真实系，有人也会喜欢卡通系，也会有人喜欢朋克风，也会有人喜欢纯 欲风，这些不同的风格需要依靠渲染功能来完成。当我们说到渲染时，都会提到图形渲染管线，它可以根据不同的 需求做很多组合和调整，比如最简单的渲染管线是：加载模型 ---> 顶点着色 ---> 片元着色 ---> 光栅化。其中 片元着色的步骤，就是用来完成材质纹理的绘制使之达到想要的角色风格。对材质纹理的绘制通常分为两大类：
PBR
全称Physically Based Rendering，顾名思义是基于物理的渲染，既然是基于物理的，那么它渲染的最终结果会非 常接近我们的真实世界。所以也就很好理解，这类材质可以决定人物是写实或超写实风格的。此技术由8大核心理论 和几个重要的光照模型组成，在此不一一列举，有兴趣的同学可以去阅读《Real-Time Rendering》中的PBR相 关章节，或是SIGGRAPH的《Physically Based Shading in Theory and Practice》系列文章。例如在淘宝人生 中，根据不同部位选取渐变贴图上采样色的方式模拟了次表面散射的技术，实现了人脸皮肤的红润通透感。
NPR
全称Non-photorealistic Rendering，即非真实感绘制。其最主要的应用之一，就是非常盛行的二次元风格，特别 是日式卡通风格。和PBR不一样，NPR不会去追求各种物理学模拟，而是从油画、素描、卡通动画中得到启发和灵 感。比如，经常被使用的人物描边、卡通着色、边缘光、头发高光等。这些特殊的材质渲染也都能在找到专业的论 文和例子，大家可以自行搜索。
动
这个章节我们来完成虚拟数字人的动 - “拥有和人相似的行为，具有用语言、表情和肢体等表达的能力”。
表情和动作
成功塑造虚拟数字人的关键之一是真实且细腻的表情和动作。真人的表情和动作是依靠骨骼和肌肉相互作用而呈现 的，在虚拟世界中，我们同样用数字技术来模拟这些骨骼和肌肉的作用，呈现表情和动作。在上面“形”的章节 里，已经提到了脸部使用了骨骼蒙皮和混合变形的方式来改变顶点，在“动”的章节里，仍然会使用这两项技术， 并且通过动画的方式让顶点“动”起来，从而完成相应的表情和动作。
手K动画
在脸部表情的刻画中，顶点动画（也就是Morph Target Animation）是主要实现技术之一。在淘宝人生的“捏 脸”功能中骨骼蒙皮是用来确定脸的大小和五官的位置的。混合变形则是用来完成五官包括脸颊、额头部位的变 形，其中用于表情动画的BlendShape多达50个，它和苹果的Animoji使用的BlendShape非常接近，这也是业界 公认的可以做到绝大多数表情（当然很多微表情非常难达到）的设定。
在肢体动作的制作中，骨骼动画（也就是SkeletalAnimation）是主要实现技术之一。骨骼动画包含了骨骼（Skeleton）和蒙皮(Skin)两种数据。首先把Mesh的顶点绑定在骨骼上生成蒙皮，这些顶点会受到多个不同权重骨骼的 影响，然后通过改变骨骼的朝向和位置来生成动画，这时蒙皮就会跟着骨骼一起动起来。
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究（4）
https://developer.aliyun.com/article/1262082?groupCode=taobaotech
