揭秘:技术和人文交织,记阿里云人工智能ET魔术秀幕后故事

简介: “每个人都贡献出了自己的全部能力。”

在昨天2016天猫双十一狂欢夜晚会上,大家是不是被阿里云人工智能机器人ET表演魔术的那一幕给惊呆了。不仅实时互动、全程实时速记,还猜出了每个人手里的牌是什么。

太厉害了,有没有!!!

不过:

这个魔术的创意是怎么来的?

从想法到拍板、再到落地,历时多久?有没有遇到什么坎,都是怎么解决的?

技术上都有哪些细节?

魔术的背后,都有哪些幕后?

云栖社区记者就以上问题,采访了魔术环节的项目PM李博(花名:傲海)。

创意来自于一个经典魔术

昨晚惊艳全场的阿里云人工智能ET表演的是一个经典魔术。

32张扑克牌以De Bruijn 序列排列,五人洗牌之后,实际上排列可能减少到32种,ET将转身观众(黑牌)记作1红牌观众记为0。进一步从32种可能性中算出最终的唯一排列。

它就是DeBruijn 序列,这个序列的原理很复杂,但效果很简单,就是从这样的序列中任意取出相邻n个数,它们的二进制排列一定不相同,这就意味着只要黑牌和红牌的排序出来,就只有一个唯一的解。

1

魔术虽然经典,但从创意到落地还是经历了非常多的困难

采访中,李博表示,从创意的排版到最终呈现,整个项目大致用了一个多月的时间,期间遇到了非常多的困难。

包括以下几个方面:

  1. 跨团队的资源调度和协调;
  2. 跟导演组的沟通以及如何快速迭代项目来应对变化;
  3. 如何对接演播当天音频、视频、导播车这些专业的直播设备,这一块困难非常大,任何一个设备的型号或者是线路出错都会造成直播事故;
  4. 直播中跟导播如何配合;
  5. 如何保持状态:整个团队在最后的彩排阶段非常疲劳,连续好多天工作到凌晨3点;
  6. 如何保证直播质量,因为是上亿人观看的直播,要有应急手段,要把所有可能发生的困难都提前做好预案。
  7. 大伙对于直播这种很专业的领域缺乏经验,现场的布线、设备的摆放、整个流程怎么走都要学习。

技术上实现难点在于场地、灯光、音效交混下的直播环境

通常这个魔术非常考验魔术师的记忆和推算能力。对ET来说,这些都不是难题。难的是整个过程中需要ET要具备高精确度、高实时性的视频识别能力,并用人类的语言和主持人沟通交流,因为直播现场环境非常复杂。

现场环境的复杂,体现在三个方面:

  1. 环境噪声的复杂性:如晚会活动现场, 有多个高功率的音响设备, 会场混响非平常办公室or家居场景可比拟的;
  2. 设备连接的复杂性:由于此次晚会涉及信号传输有7--8路, 除了音频信号还有视频信号, 各种设备之间互相干扰, 除了环境噪音之外, 还带来了大量的电流噪声干扰.
  3. 直播的特殊性:现场是对全球的实时直播,一切都是不可控的,任何情况都会出现。

“对于以上的问题, 我们做了以下应对。”阿里云iDST技术专家汪淼淼在接受采访时说,“一个是阿里云ET自身的能力,之前它已经在千差万别的场景中得到锤炼;第二个是在后台的模型算法方面, 通过带噪数据的不断学习, 使得最终模型获得了带噪数据的适应性和鲁棒性,从而提高了对于带噪信号的适应性, 当然各种场景下真实数据的反馈,也让模型不断学习&自适应, 获得了对各种复杂环境的适应性和识别效果的鲁棒性;第三个是加强对华少的适应性——通过对华少的一些历史数据的学习, 如华少主持过的节目《华少爱读书》《王牌碟中谍》等视频的学习, 使得ET更加适应华少说的话。”

阿里云人工智能ET的实力

阿里云微信公众号的一篇文章中指出,这场魔术秀背后是阿里云iDST技术团队研发的智能语音交互(Intelligent Speech Interaction)系统, 包含语音识别、语音合成、自然语言理解等技术。
 
通过学习录音资料,ET还能模仿指定个人的音色。
 
而在ET识别黑牌的过程中,应用到的就是人工智能的图像识别技术,其功能准确度达95%以上。

在观众抽取扑克牌时,ET已经完成了对5位观众的面部识别,并利用算法建立了器官轮廓定位,以便之后识别出是否有人转身。

之前ET检测出华少手上有新的物品,便触发了图像识别机制,“看出”华少手上多了一幅扑克牌。

目前,阿里云ET的人脸算法已经覆盖了人脸检测、器官轮廓定位、人像美化、性别年龄识别、1对1人脸认证和1对多人脸识别等多个方向,用机器学习的方法,包括卷积神经网络、Supervised Descent Method等,实现了高精度和高效的技术,人脸识别在LFW上识别率99.5%。
 
无论是语音识别还是图像识别,阿里云ET的底层都依赖于深度学习算法以及大规模计算能力。

一套复杂算法模型的训练往往需要千亿级别的样本数据,这就对背后的计算能力提出了很高的要求。

难忘的事:每个人都贡献出了自己的全部能力

作为整个项目的PM,傲海分享了项目过程中一些令人难忘的事。

他说,难忘的事情非常多。“直播前,品牌的同学为了跟导演组沟通台本,在现场几乎可以坐一个晚上;开发的同学凌晨三点多刚躺下,第二天早上就自发起来改各种需求;负责采购硬件的同学每天往返于各种设备市场;因为人手有限,UED同学甚至开始充当布线工程师,还到导播车帮忙监控项目的直播。”这些细节,李博都历历在目。

这位负责机器学习PAI的产品经理表示,整个团队真的是非常有勇气和战斗力,电视直播是他们从没涉及过的领域,大家可以在这么短的时间内开发整套项目,并且成功的呈现到电视机前,克服了非常非常多的问题。

“每个人都贡献出了自己的全部能力。”他最后说到。

目录
相关文章
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
54 10
|
13天前
|
人工智能 Java Serverless
阿里云函数计算助力AI大模型快速部署
随着人工智能技术的快速发展,AI大模型已经成为企业数字化转型的重要工具。然而,对于许多业务人员、开发者以及企业来说,探索和利用AI大模型仍然面临诸多挑战。业务人员可能缺乏编程技能,难以快速上手AI模型;开发者可能受限于GPU资源,无法高效构建和部署AI应用;企业则希望简化技术门槛,以更低的成本和更高的效率利用AI大模型。
68 12
|
3天前
|
人工智能 安全 算法
深度剖析 打造大模型时代的可信AI:技术创新与安全治理并重
2024年12月11日,由中国计算机学会计算机视觉专委会主办的“打造大模型时代的可信AI”论坛在上海举行。论坛汇聚了来自多家知名学术机构和企业的顶尖专家,围绕AI的技术风险与治理挑战,探讨如何在大模型时代确保AI的安全性和可信度,推动技术创新与安全治理并行。论坛重点关注计算机视觉领域的最新进展,提出了多项技术手段和治理框架,为AI的健康发展提供了有力支持。
26 8
深度剖析 打造大模型时代的可信AI:技术创新与安全治理并重
|
3天前
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
|
11天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
12月05日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·电子科技大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
|
14天前
|
机器学习/深度学习 存储 人工智能
【AI系统】离线图优化技术
本文回顾了计算图优化的各个方面,包括基础优化、扩展优化和布局与内存优化,旨在提高计算效率。基础优化涵盖常量折叠、冗余节点消除、算子融合、算子替换和算子前移等技术。这些技术通过减少不必要的计算和内存访问,提高模型的执行效率。文章还探讨了AI框架和推理引擎在图优化中的应用差异,为深度学习模型的优化提供了全面的指导。
36 5
【AI系统】离线图优化技术
|
2天前
|
人工智能 大数据 测试技术
自主和开放并举 探索下一代阿里云AI基础设施固件创新
12月13日,固件产业技术创新联盟产业峰会在杭州举行,阿里云主导的开源固件测试平台发布和PCIe Switch固件技术亮相,成为会议焦点。
|
3天前
|
机器学习/深度学习 传感器 人工智能
AI视频监控系统在养老院中的技术实现
AI视频监控系统在养老院的应用,结合了计算机视觉、深度学习和传感器融合技术,实现了对老人体征、摔倒和异常行为的实时监控与分析。系统通过高清摄像头和算法模型,能够准确识别老人的动作和健康状况,并及时向护理人员发出警报,提高护理质量和安全性。
28 14
|
4天前
|
传感器 机器学习/深度学习 人工智能
AI视频监控卫士技术介绍:智能化河道管理解决方案
AI视频监控卫士系统,通过高清摄像头、智能传感器和深度学习技术,实现河道、水库、城市水务及生态保护区的全天候、全覆盖智能监控。系统能够自动识别非法行为、水质变化和异常情况,并实时生成警报,提升管理效率和精准度。
32 13
|
2天前
|
存储 人工智能 运维
AI-Native的路要怎么走?一群技术“老炮儿”指明了方向
上世纪70年代,沃兹尼亚克、乔布斯等人成立Homebrew Computer Club,推动个人电脑普及。如今,创原会承袭这一精神,由CNCF执行董事Priyanka Sharma等构建,聚焦云原生和AI技术,汇聚各行业技术骨干,探索前沿科技。2024年创原会年度峰会达成“全面拥抱AI-Native”共识,解决算力与存储瓶颈,推动AI原生应用开发,助力千行万业智能化转型,成为行业创新风向标。
下一篇
DataWorks