揭秘:技术和人文交织,记阿里云人工智能ET魔术秀幕后故事

简介: “每个人都贡献出了自己的全部能力。”

在昨天2016天猫双十一狂欢夜晚会上,大家是不是被阿里云人工智能机器人ET表演魔术的那一幕给惊呆了。不仅实时互动、全程实时速记,还猜出了每个人手里的牌是什么。

太厉害了,有没有!!!

不过:

这个魔术的创意是怎么来的?

从想法到拍板、再到落地,历时多久?有没有遇到什么坎,都是怎么解决的?

技术上都有哪些细节?

魔术的背后,都有哪些幕后?

云栖社区记者就以上问题,采访了魔术环节的项目PM李博(花名:傲海)。

创意来自于一个经典魔术

昨晚惊艳全场的阿里云人工智能ET表演的是一个经典魔术。

32张扑克牌以De Bruijn 序列排列,五人洗牌之后,实际上排列可能减少到32种,ET将转身观众(黑牌)记作1红牌观众记为0。进一步从32种可能性中算出最终的唯一排列。

它就是DeBruijn 序列,这个序列的原理很复杂,但效果很简单,就是从这样的序列中任意取出相邻n个数,它们的二进制排列一定不相同,这就意味着只要黑牌和红牌的排序出来,就只有一个唯一的解。

1

魔术虽然经典,但从创意到落地还是经历了非常多的困难

采访中,李博表示,从创意的排版到最终呈现,整个项目大致用了一个多月的时间,期间遇到了非常多的困难。

包括以下几个方面:

  1. 跨团队的资源调度和协调;
  2. 跟导演组的沟通以及如何快速迭代项目来应对变化;
  3. 如何对接演播当天音频、视频、导播车这些专业的直播设备,这一块困难非常大,任何一个设备的型号或者是线路出错都会造成直播事故;
  4. 直播中跟导播如何配合;
  5. 如何保持状态:整个团队在最后的彩排阶段非常疲劳,连续好多天工作到凌晨3点;
  6. 如何保证直播质量,因为是上亿人观看的直播,要有应急手段,要把所有可能发生的困难都提前做好预案。
  7. 大伙对于直播这种很专业的领域缺乏经验,现场的布线、设备的摆放、整个流程怎么走都要学习。

技术上实现难点在于场地、灯光、音效交混下的直播环境

通常这个魔术非常考验魔术师的记忆和推算能力。对ET来说,这些都不是难题。难的是整个过程中需要ET要具备高精确度、高实时性的视频识别能力,并用人类的语言和主持人沟通交流,因为直播现场环境非常复杂。

现场环境的复杂,体现在三个方面:

  1. 环境噪声的复杂性:如晚会活动现场, 有多个高功率的音响设备, 会场混响非平常办公室or家居场景可比拟的;
  2. 设备连接的复杂性:由于此次晚会涉及信号传输有7--8路, 除了音频信号还有视频信号, 各种设备之间互相干扰, 除了环境噪音之外, 还带来了大量的电流噪声干扰.
  3. 直播的特殊性:现场是对全球的实时直播,一切都是不可控的,任何情况都会出现。

“对于以上的问题, 我们做了以下应对。”阿里云iDST技术专家汪淼淼在接受采访时说,“一个是阿里云ET自身的能力,之前它已经在千差万别的场景中得到锤炼;第二个是在后台的模型算法方面, 通过带噪数据的不断学习, 使得最终模型获得了带噪数据的适应性和鲁棒性,从而提高了对于带噪信号的适应性, 当然各种场景下真实数据的反馈,也让模型不断学习&自适应, 获得了对各种复杂环境的适应性和识别效果的鲁棒性;第三个是加强对华少的适应性——通过对华少的一些历史数据的学习, 如华少主持过的节目《华少爱读书》《王牌碟中谍》等视频的学习, 使得ET更加适应华少说的话。”

阿里云人工智能ET的实力

阿里云微信公众号的一篇文章中指出,这场魔术秀背后是阿里云iDST技术团队研发的智能语音交互(Intelligent Speech Interaction)系统, 包含语音识别、语音合成、自然语言理解等技术。
 
通过学习录音资料,ET还能模仿指定个人的音色。
 
而在ET识别黑牌的过程中,应用到的就是人工智能的图像识别技术,其功能准确度达95%以上。

在观众抽取扑克牌时,ET已经完成了对5位观众的面部识别,并利用算法建立了器官轮廓定位,以便之后识别出是否有人转身。

之前ET检测出华少手上有新的物品,便触发了图像识别机制,“看出”华少手上多了一幅扑克牌。

目前,阿里云ET的人脸算法已经覆盖了人脸检测、器官轮廓定位、人像美化、性别年龄识别、1对1人脸认证和1对多人脸识别等多个方向,用机器学习的方法,包括卷积神经网络、Supervised Descent Method等,实现了高精度和高效的技术,人脸识别在LFW上识别率99.5%。
 
无论是语音识别还是图像识别,阿里云ET的底层都依赖于深度学习算法以及大规模计算能力。

一套复杂算法模型的训练往往需要千亿级别的样本数据,这就对背后的计算能力提出了很高的要求。

难忘的事:每个人都贡献出了自己的全部能力

作为整个项目的PM,傲海分享了项目过程中一些令人难忘的事。

他说,难忘的事情非常多。“直播前,品牌的同学为了跟导演组沟通台本,在现场几乎可以坐一个晚上;开发的同学凌晨三点多刚躺下,第二天早上就自发起来改各种需求;负责采购硬件的同学每天往返于各种设备市场;因为人手有限,UED同学甚至开始充当布线工程师,还到导播车帮忙监控项目的直播。”这些细节,李博都历历在目。

这位负责机器学习PAI的产品经理表示,整个团队真的是非常有勇气和战斗力,电视直播是他们从没涉及过的领域,大家可以在这么短的时间内开发整套项目,并且成功的呈现到电视机前,克服了非常非常多的问题。

“每个人都贡献出了自己的全部能力。”他最后说到。

目录
相关文章
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
QwQ-32B为襄阳职业技术学院拥抱强化学习的AI力量
信息技术学院大数据专业学生团队与UNHub平台合作,利用QwQ-32B模型开启AI教育新范式。通过强化学习驱动,构建职业教育智能化实践平台,支持从算法开发到应用的全链路教学。QwQ-32B具备320亿参数,优化数学、编程及复杂逻辑任务处理能力,提供智能教学助手、科研加速器和产教融合桥梁等应用场景,推动职业教育模式创新。项目已进入关键训练阶段,计划于2025年夏季上线公测。
44 10
QwQ-32B为襄阳职业技术学院拥抱强化学习的AI力量
|
3天前
|
人工智能 弹性计算 运维
|
2天前
|
人工智能 运维 安全
更低成本、更高效、更安全!阿里云与钉钉联合推出协同办公AI解决方案
阿里云与钉钉携手推出了全新的“钉钉·AI Stack一体机”,以“低成本、高安全、零门槛”为核心,为用户提供基于钉钉,从模型部署到全员落地的AI解决方案,开启智能化办公的“一键加速”。
|
3天前
|
存储 人工智能 Cloud Native
小鹏汽车选用阿里云PolarDB,开启AI大模型训练新时代
PolarDB-PG云原生分布式数据库不仅提供了无限的扩展能力,还借助丰富的PostgreSQL生态系统,统一了后台技术栈,极大地简化了运维工作。这种强大的组合不仅提高了系统的稳定性和性能,还为小鹏汽车大模型训练的数据管理带来了前所未有的灵活性和效率。
|
13天前
|
人工智能 编解码
For Her:阿里云携手国际奥委会推出AI修复影片《永不失色的她》
For Her:阿里云携手国际奥委会推出AI修复影片《永不失色的她》
|
13天前
|
人工智能 自然语言处理 算法
阿里云「AI实时互动」正式上线,体验“超拟人”智能互动
阿里云「AI实时互动」正式上线,体验“超拟人”智能互动
|
13天前
|
人工智能 智能设计 物联网
阿里云设计中心携手金鸡电影节青年创作人,用AI技术加速电影工业升级
阿里云设计中心携手金鸡电影节青年创作人,用AI技术加速电影工业升级
|
13天前
|
人工智能 编解码 测试技术
阿里云通义千问发布多款AI大模型 多模态、长文本能力全面升级!
阿里云通义千问发布多款AI大模型 多模态、长文本能力全面升级!
|
13天前
|
机器学习/深度学习 人工智能 监控
鸿蒙赋能智慧物流:AI类目标签技术深度解析与实践
在数字化浪潮下,物流行业面临变革,传统模式的局限性凸显。AI技术为物流转型升级注入动力。本文聚焦HarmonyOS NEXT API 12及以上版本,探讨如何利用AI类目标签技术提升智慧物流效率、准确性和成本控制。通过高效数据处理、实时监控和动态调整,AI技术显著优于传统方式。鸿蒙系统的分布式软总线技术和隐私保护机制为智慧物流提供了坚实基础。从仓储管理到运输监控再到配送优化,AI类目标签技术助力物流全流程智能化,提高客户满意度并降低成本。开发者可借助深度学习框架和鸿蒙系统特性,开发创新应用,推动物流行业智能化升级。
|
2天前
|
存储 人工智能 运维
阿里云操作系统控制台评测:国产AI+运维 一站式运维管理平台
本文详细评测了阿里云操作系统控制台,作为一款集运维管理、智能助手和系统诊断于一体的工具,它为企业提供了高效管理云资源的解决方案。文章涵盖登录与服务开通、系统管理与实例纳管、组件管理与扩展功能、系统诊断与问题排查以及实时热点分析与性能优化等内容。通过实际操作展示,该平台显著提升了运维效率,并借助AI智能助手简化了复杂操作。建议进一步完善组件库并增强第三方兼容性,以满足更多高级运维需求。
22 0

热门文章

最新文章