揭秘 | 直播美颜不靠脸 靠的是阿里云程序员?

简介: 在这个看脸的时代,美颜已经成为必不可少的社交工具。不仅美颜相机成为了装机必备,各大直播APP也都相继推出美颜功能,利用摄像头对人脸进行追踪并叠加特效的新玩法也层出不穷。在市场热的背后,离不开技术支持。

在这个看脸的时代,美颜已经成为必不可少的社交工具。不仅美颜相机成为了装机必备,各大直播APP也都相继推出美颜功能,利用摄像头对人脸进行追踪并叠加特效的新玩法也层出不穷。在市场热的背后,离不开技术支持。那么看似简单的美颜背后隐藏了哪些技术,它们的开发难点在哪里, 本文将为你揭晓。

先来看看什么才是真正的美颜

如果你是直播APP的重度使用者,就会知道其实美颜也有天差地别之分。有的美颜能让你的皮肤看起来平滑细腻又红润,整个人颜值加分不少,而有的却是模糊一片,连人脸边缘都分辨不出,美颜不成反而观感不佳。

那为什么落差如此之大呢?其实是因为美颜是有真假之分的。真正的美颜是需要对于人脸区域进行预先的检测和定位,只对肤色区域进行特定处理,使皮肤变得更透亮。而假美颜则是直接对整个画面进行调整,可想而知人和背景同时变白的话,画面一定会失去立体感和原有的层次,体验非常差。

人类对于美的追求是无止境的,所以用户不仅需要真美颜,更需要高级美颜,比如更自然的磨皮祛痘、更有层次的美白、五官更立体、脸型变瘦小、一秒上妆、添加AR特效等等,在直播市场的用户争夺战中,高级美颜是杀手锏,关键时刻用来留存用户、吸引主播,十分好用。

那么体验更好、更逼真的高级美颜功能,背后有哪些关键技术和开发难点呢?和阿里云视频算法高级技术专家聊过之后,我们渐渐解开了高级美颜的神秘面纱。

美颜关键算法与技术难点有哪些?

为了实现高颜值又不失真的直播美颜功能,技术关键点主要涉及人脸检测、特征点定位与跟踪、特效处理、美白和磨皮四个方面。

1. 人脸检测

人脸检测的任务是找出图片中所有的人脸,给出人脸的大小位置坐标。同时,针对多张人脸和处理多角度、部分遮挡等复杂情况,也要通过算法加以处理,快速、准确的找到人脸。

人脸检测是所有后续处理算法的基石。在任意场景中准确的找到图片中的人脸已经不是太大的难题。但其挑战性在于要在极短的时间之内完成。目前业界的算法,在手机上的解决方案普遍在5ms以上的处理时间。要做到2~3ms处理一帧同时要兼顾准确率,仍然有很大的挑战。

2. 特征点定位与跟踪

对于给定的一张人脸,特征点定位需要准确地给出人脸五官,轮廓的坐标点。最常见的特征点,包括眼睛,瞳孔,眉毛,鼻子,嘴等这些位置。

对于视频流而言,还要保证图片帧之间特征点的连续性。这就是特征点的跟踪问题。要在任意光照,各种夸张的表情,已经各种角度的侧脸,这些真实环境拍摄下的视频里面,准确的定位和跟踪人脸特征点的位置,仍然是一个具有挑战性的问题。

3. 美颜特效处理

这类效果的实现主要还是依赖于人脸特征点定位的准确性。有这些特征之后,以这些特征点组成一个网格,对这个网格按照固定的参数进行局部形变,就可以形成瘦脸,大眼等特效算法。

这类算法相对比较成熟,但要保持一个非常高的计算效率,仍然需要投入较长的时间去做各种平台下的优化。

4. 美白磨皮算法

美白算法的目标是把肤色区域变得更加的透亮。这部分的算法可谓层出不穷,基本思路都是如何调整图片的亮度问题。而磨皮的算法就更多了,包括使用高斯模糊,双边滤波等。具体选择哪种算法,并且需要结合哪些细节增强的后处理技术,以达到更好的磨皮效果来匹配业务,也是非常复杂并且需要大量投入的。

如此看来,虽然美颜在直播中的应用不可或缺,但是“真”美颜并不是那么容易开发的,需要技术团队对人脸识别算法有一定的深入理解,并对磨皮美白等光影效果有准确拿捏,如此看来,选择一家靠谱的云服务厂商来协助实现直播美颜就是不二之选了。

直播高级美颜选择阿里云的原因

阿里云拥有强大内容分发网络和音视频实时通讯技术,直播客户端推流开发工具不仅可以为用户提供简单易用的开放接口、网络自适应的流畅体验,还可以提供功能强大的实时美颜效果。目前,推流SDK已经全面免费开放含人脸识别的高级美颜功能,可实现瘦脸、小脸、大眼、腮红以及基于人脸识别的美白功能,用户无需去承担动辄几十万的高额授权费用,直接快速接入。

据阿里云高级技术专家表示,在直播美颜方面,在经过不断的技术探索后,阿里云所有的美颜算法采用GPGPU实现和CPU实现,两个版本都是经过高度优化的计算内核,整个美颜所有的流程走完在大部分移动端上单核CPU占用率低于20%,不会引发系统资源不足造成卡顿、发烫等情况,确保直播的流畅性。

在人脸检测效率方面,阿里云基于目前最先进的神经网络技术,通过裁剪模型,海量数据下的训练,在保证准确性的同时,还能兼顾处理时间,已经做到3ms以下。

在人脸特征点定位与跟踪方面,阿里云仍然采用基于神经网络的算法,提供人脸识别特征点个数已达68个,可以非常准确地追踪五官和轮廓,锁定皮肤区域。并且在人脸移动和转动时,也能根据可识别姿态的范围来精准捕捉动作,有效解决了各种自然场景下人脸的特征点定位的准确性和视频帧间的稳定性问题。

另外,阿里云美颜在核心人脸检测与特征点跟踪的算法上具有高度鲁棒,特征点视频帧间抖动非常小,用户端体验感更佳。

除了能够实现通用的瘦脸,小脸,大眼,腮红等功能外,为了满足不同类型产品的个性化需求,阿里云直播推流SDK可以自主设置美颜模式和参数,用户可以找UED同事配合调整出最符合自己应用风格的美颜参数。
image

同时,阿里云的开发人员与UED团队经过调研与测试,也提供了几组美颜效果比较理想的参数,供用户参考使用。
image

除了高级美颜外,针对直播的业务场景,阿里云提供从采集、渲染、推流、转码、分发到播放的一体化直播解决方案,并拥有直播答题、首屏秒开、鉴黄审核、边缘推流、高清转码、直播时移、消息服务、直播安全加密等众多产品功能,让用户告别复杂的架构设计,降低维护成本,快速一站式接入直播。

据悉在IT开年采购季活动当中,视频直播流量包和转码包8折让利优惠,想体验高级美颜功能及直播服务的用户可以登录官网了解活动详情:
https://promotion.aliyun.com/ntms/act/season-cloudproduct.html?spm=a2c4g.11186623.2.3.F1nyGj&wh_ttid=pc#floor5

想进行直播服务业务咨询,可扫码加入钉钉群交流:
image

0.1元开启直播之旅

image
开年采购季,为了让更多用户能够体验和享受到视频直播云服务的便利,视频产品推出了0.1元体验包,配置清单如下:
image

点击了解活动详情

目录
相关文章
|
机器学习/深度学习 程序员 数据处理
时间序列分析技巧(一):根据ACF、PACF进行AR、MA、ARMA模型选择
时间序列分析技巧(一):根据ACF、PACF进行AR、MA、ARMA模型选择
|
10月前
|
移动开发 HTML5
HTML5实现的手机验证抽奖领券效果源码
这是一款基于HTML5实现的手机验证抽奖领券效果源码。在输入框输入手机号码即可点击下方的按钮来进行抽奖游戏,中奖后还会弹出提示信息,是一款比较经典的抽奖游戏源码
315 9
|
11月前
|
机器学习/深度学习 人工智能 编解码
【AI系统】MobileNet 系列
本文详细介绍 MobileNet 系列模型,重点探讨其轻量化设计原则。从 MobileNetV1 开始,通过深度可分离卷积和宽度乘数减少参数量,实现低延迟、低功耗。后续版本 V2、V3、V4 逐步引入线性瓶颈、逆残差、Squeeze-and-Excitation 模块、新型激活函数 h-swish、NAS 搜索等技术,持续优化性能。特别是 MobileNetV4,通过通用倒瓶颈(UIB)和 Mobile MQA 技术,大幅提升模型效率,达到硬件无关的 Pareto 最优。文章结合最新深度学习技术,全面解析各版本的改进与设计思路。
2102 8
|
数据可视化 数据挖掘
Seaborn中的关系图:探索变量之间的关联
【4月更文挑战第17天】Seaborn库助力探索变量间关联,提供散点图、箱形图、条形图、计数图、热力图和相关图等工具。散点图用于连续变量关系,箱形图展示数值变量分布,条形图对比类别与数值变量,计数图显示类别频率,热力图揭示两类变量交叉表,相关图则呈现多变量两两相关性。选择合适图表能提升数据分析效果。
|
人工智能 自然语言处理 数据库
揭秘RAG与Embedding的强强联合:如何让大模型在专业领域中唤醒沉睡的知识,实现智能化突破?
【10月更文挑战第6天】知识图谱与语义嵌入技术推动了AI领域的进步。RAG结合检索与生成模型,通过检索相关文档片段辅助生成过程,提升模型质量。Embedding技术则提供丰富语义信息,增强自然语言处理能力。二者结合,尤其在专业领域如医药研究中,显著提高了AI处理复杂任务的精度与智能化水平。
449 2
|
机器学习/深度学习 算法 测试技术
【YOLOv8改进 - 注意力机制】Focused Linear Attention :全新的聚焦线性注意力模块
YOLOv8专栏探讨了该目标检测算法的创新改进,包括使用聚焦线性注意力模块,解决了Transformer在视觉任务中的效率和表达力问题。该模块增强自注意力,提高焦点能力和特征多样性,保持线性复杂度。文章提供了实证证据证明其在多个基准上的性能提升,并在GitHub上发布了代码。论文和更多实战案例链接见文中。
|
机器学习/深度学习 资源调度 自然语言处理
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
18015 0
|
缓存 算法
深入理解操作系统内存管理:分页系统的优势与挑战
【5月更文挑战第28天】 在现代操作系统中,内存管理是一项至关重要的功能,它不仅确保了系统的稳定运行,还提升了资源的利用效率。本文将探讨分页系统这一核心概念,并分析其在内存管理中的优势和面临的挑战。通过剖析分页机制的工作原理及其对虚拟内存实现的重要性,我们进一步阐述了它在多任务处理和内存保护方面的作用。同时,文章也将讨论分页带来的性能开销、页面置换算法的设计以及它们如何影响系统的整体性能。
|
自然语言处理 文字识别 算法
RexPrompt:探索兼顾低成本、多模态、多语言、多任务的零少样本通用自然语言理解框架
RexPrompt框架的推理速度较SiamesePrompt框架提升了2倍,F1-Score提升了10%!
|
并行计算 C++ Windows
windows10下visual studio 2019安装以及cuda11配置
windows10下visual studio 2019安装以及cuda11配置
1989 0