图片出处：And2girls安菟 虚拟女团
名词定义
今天讲的虚拟角色（也可以称为虚拟数字人），是个广而泛的概念，它可以指代各行各业形形色色的虚拟形象。最早提出这个词需要追溯到1989 年美国国立医学图书馆发起的“可视人计划”(Visible Human Project)，而在中国则是在2001年，以“中国数字化虚拟人体的科技问题”为主题的香山科学会议第 174 次学术讨论会提出了“数字化虚拟人体”的概念。
我们定义的虚拟角色可以包含以下要素：
一、形 - 具备人或拟人的外观，具有特定的相貌等人物特征；
二、动 - 拥有和人相似的行为，具有用语言、表情和肢体等表达的能力；
三、神 - 拥有比拟人的思想，具有识别外界环境、并能与人交流互动的能力。
可以看出，这三条要素对于虚拟角色的“完成度”来说是一个递进的关系。
行业现状
市场
近几年，虚拟角色在电商、金融、影视、游戏和金融等行业都拥有不同大小的市场规模。例如：虚拟偶像行业2020年中国的市场规模为34.6亿元，预计2021年将达到62.2亿元。
图片出处：https://www.iimedia.cn/c400/79469.html
1962年在二次元发达的日本诞生了第一位虚拟歌姬 - 林明美（出自于：Macross），而更为被大家熟知的虚拟歌手是初音未来（由Cypton创作）。技术上从CG制作到动作捕捉再到AI驱动，制作成本逐年降低、形象外貌更加真实、语言交流更加自然，如今虚拟角色的发展正处于高速的成长期，不断壮大的市场规模和高速发展的技术相辅相成。
产业链
迄今为止，虚拟角色的产业链也已经相当完整，从不同的集成程度来看基本可以分为基础层、平台层、应用层。
图片出处：https://www.sohu.com/a/437901934_115978
1、基础层
为虚拟角色提供基础软硬件支撑，硬件包括显示设备、光学器件、传感器、芯片等，基础软件包括建模软件、渲染引擎等。
2、平台层
包括软硬件系统、生产技术服务平台、AI 能力平台等，为虚拟角色的制作及开发提供技术能力。
3、应用层
指虚拟角色技术结合实际应用场景领域，切入各行业应用解决方案，赋能行业领域。
业界产品
只列举了几个代表性的
1、IP运营类
- 韩国三星Neon：三星旗下STAR Labs研发的AI艺术数字人，拥有近似真人的形象及逼真的表情动作， 具备表达情感和沟通交流的能力。
- Lil Miquela：史上第一个CGI（Computer-generated Imagery）角色，主要用于时尚品牌的营销。
- 初音未来：全球最知名的虚拟歌姬，隶属于Crypton。除了初音的虚拟IP外，Crypton还提供了可以用初音的音源自由创作歌曲的工具。
- CodeMiko：由个人创作的Virtual Youtuber（简称VTuber），类似这类的VTuber也大量活跃在Youtuber平台上。
- 洛天依：由上海禾念推出的知名虚拟歌姬，发行过众多歌曲和专辑。
- 鹿鸣：米哈游推出的人工桌面虚拟“女友”，同时还活跃在B站，宅男福音。
2、解决方案类
- VOCALOID：雅马哈研发的歌声合成技术VOCALOID，被很多虚拟歌姬都使用，比如初音和洛天依。
- Metahuman：Unreal于2021年2月推出的制作虚拟数字人的创作工具，借助这个工具强大“捏脸”功能，可以在非常短时间内在云端（流式操作）完成一个高保真的虚拟数字人制作。且无论是渲染真实度、脸部表情、嘴型吻合都是业界顶级的。
- 腾讯IP虚拟人、相芯科技AvatarX、网易有灵虚拟人：这几套解决方案比较相近，它们都面向企业、团队、个人提供全套服务（包括应用层平台、云端智能算法和底层大数据），可以定制或授权使用丰富的IP数字人库，应用在包括虚拟主播、教师、客服、助手、导演、营销等场景和领域。
3、游戏类
- 崽崽（Zepeto）、闪耀暖暖：著名的捏人换装养成游戏，刚推出时引发了一波圈内的现象级讨论热度。
我们在做什么？
在今年年初，由阿里前端委员会发起，在互动图形方向成立了虚拟角色小组，一起分享和研究虚拟角色领域的技术和应用。这5个团队的作品涉及游戏、视频、直播三个主要的场景，这也和行业中热门的领域是比较吻合的。
游戏
虚拟角色在游戏行业基本是标配，非常多的游戏都会需要塑造人物，也俗称主角，同时很多塑造出来的人物也能成为非常重要的IP活跃在其他周边行业中。但我们这里要谈的会缩小下范围，特指包含玩家能通过自定义塑造人物形象功能的这一类游戏，也俗称“捏人”。
1、淘宝人生
这是手机淘宝App内一款可以玩转虚拟形象的轻游戏，包含了捏脸、穿搭、美颜、拍照等功能，逛街、家园等玩法，以及各式各样的营销活动。同时用户还可以把自己塑造的虚拟形象，放到其他的互动游戏中，比如“斗地主”。
2、养考拉
这是考拉海购App内的一款可以养成考拉的轻互动，采用了Web技术，包含了装扮功能，喂养等玩法。
视频
虚拟角色短视频可以给用户带来持续一致的体验，还会给业务带来增量的收益。在制作虚拟角色的视频时，可以通过动作捕捉/表情姿势识别/智能化生成等方案，让虚拟角色同人的行为更近似。
直播
直播和虚拟角色的结合仍然处于早期的探索阶段，因为两种现象级的产业需要结合且形成新的或增量的商业模式并不容易。在手淘直播、优酷直播、蚂蚁财经直播等直播间都能看到虚拟角色的身影，它们有时作为小助手和主播互动、有时成为主播休息时的智能带货人，甚至直接是某些行业带货一哥一姐。
我们研究的技术
随着应用场景专业和深入，技术研究也会涵盖工程和算法等多种综合性的解决方案，且在不同的应用场景下，侧重点也会不太一样。就上面描述的几个应用场景下，我们也投入到了如下的技术研究中：
美术生产
在美术生产环节，技术的作用是辅助美术。在2D内容的美术生产中，技术可以在美术产物交付后再介入，比如从Sketch直接导出代码。而在3D内容的美术生产中，技术有需要直接介入生产过程中，因为3D内容的美术生产流程相对较长也较复杂，美术和技术之间需要频繁的合作才能保障交付质量或交付效率。我们也称作这个过程为3D美术工作流。我们有很多大同小异的美术工作流方案，大同是因为3D内容生产也是有一定的工业标准的，小异是因为细节会和艺术家使用的软件、技术实现的引擎有密切的关系。在工作流中，我们都会去定制不同的工具或插件，它们就是根据不同的引擎或具体的业务需求来打造的。
表情和动作
角色的表情和动作的真实与否，给用户的感受将是非常明显的。虚拟角色塑造的关键之一就是真实甚至细腻的表情和动作。真人的表情是依靠骨骼和肌肉相互作用而呈现的，而动作同样是依靠身体骨骼和肌肉相互作用而实现的。此时我们需要用数字技术去模拟这些骨骼和肌肉的作用，并实现表情和动作。我们在表情的模拟上使用的是Blendshape技术，而在动作的模拟上使用的是物理骨骼绑定的技术，部分也采用了物理碰撞盒来解决穿模等问题。从实践来看，当BS达到50个以上时，是能模拟很多常用表情。
渲染和风格
虚拟角色塑造的又一个关键就是渲染，需要关心的维度有较多，比如用什么引擎、材质、云渲染等。
- 引擎：几个团队都有各自不同的引擎方案，有行业顶尖的Unity、有自研的EVA Figure（Web，依赖的Hilo3D已开源）、Oasis3D（Web，已开源）、ApisXEngine（全平台）。
- 材质：我们普遍采用了PBR材质，其中我们也尝试了超写实风格的人物渲染，云栖大会上首发的手语助手小莫就是超写实风格的一次实践。
- 云渲染：在手淘直播场景中，我们采用了Unity渲染并推流的方案。此时我们正与阿里云团队和Node架构团队展开积极的合作，一起探索使用Web引擎+Puppeteer完成非实时云渲染任务的方案。
场景编排
我们还针对快速运营的需求设计了场景编排的能力，也称为导演系统。它可以在有限的资源内灵活设计一个或多个不同的场景来满足不同的运营需求，例如：，
- 针对直播中的主播、可以设计多个时间段虚拟主播都在干什么、说什么话，介绍什么产品。
- 针对游戏中的角色，可以生成不同的场景，切换不同的氛围。
- 针对视频中的剧本，可以生成不同的模板，套用各类形象后生成多种视频。
大数据和算法
从虚拟角色的长远发展来看，大数据和算法会占据非常重要的地位，因为表情和动作是千变万化的，光依赖工程解决方案势必会遇到产能等瓶颈，所以通过大数据训练后的算法驱动是未来重要的解决方案，这些数据可以来知已有的视频分析，也可以采用制作过程中的关键帧数据，这些都需要依靠持续的积累，才能达到预期的效果。
D2 预告
我们在将在12月18、19日的D2前端技术论坛，分享更加完整的《虚拟偶像诞生记 - 数字人行业和技术探究》，欢迎大家来一起交流。
