去年AI当了回电影节作品编剧,现在MIT又训练它来预测观众泪点

简介:

虽然计算机在观看悲情电影时不会哭,但它却能预测我们的泪点。

 都是套路,麦肯锡与MIT研究出了能预测电影泪点的AI模型

在2016年伦敦科幻电影节上首次亮相的科幻微电影《Sunspring》(《阳春》),讲述了一个全民失业的反乌托邦国度,一经放映就吸引了大票粉丝,有观众评价它有趣却又怪诞,但也有很多观众反馈它的情节设计存在诸多不合理。

其实,这部影片最大的亮点就在于:它的编剧是人工智能(AI)。

看到这里,很多人可能又会感慨:“机器会不会取代人类编剧,就像无人驾驶汽车可能取代了人类司机一样?!”

其实,如前面所说,如果你细看这部影片,就会发现很多“穿帮”剧情。比如,片中某个角色咳嗽时眼球竟然掉了!还有有影评家指出:“片中的对话听起来像是不相关语句的拼凑”。不难看出,尽管科技不断进步,但人类编剧的地位却仍然不可动摇。

这里,我们来设想一个不太极端的场景:机器和人类是否有可能共同完成一个剧本?即由人类编剧负责撰写巧妙的转折和现实对话,AI则负责提供见解、增强故事的感染力,比如识别能触动观众的背景音乐或画面。

最近,麻省理工学院(MIT)媒体实验室对这种人机合作编剧的形式进行了研究,并从中确认机器能否识别影片中常见的情感曲线——人物命运的跌宕起伏,包括在困境中挣扎、克服困难、误入歧途、战胜邪恶势力等等。我们发现,不论是对于YouTube上的业余视频制作者,还是电影工作室制作人,只要涉及到剧情编写,都会考量这些问题。

因此,如果机器能做到这些,那么编剧是否可以借助这些信息来预测观众的反应,从而调整自己的剧本?答案是肯定的。

情感曲线:故事的灵魂

首先,我们先来谈谈情感曲线。

纵观整个文学领域,我们发现像桑达克、斯皮尔伯格、普鲁斯特和皮克斯这样的传奇作家,就非常善于拿捏和激发观众的情感,并通过观众的喜恶,适当调整故事情节,在关键的时刻唤起观众内心的快乐、伤感或愤怒。然而,就算是最优秀的作家,也无法确保故事情节的完美无缺,就连莎士比亚的某些戏剧也可能无法让观众产生共鸣(没有多少人喜欢他的《辛白林》)。

那么,是什么导致有些电影广受好评,有些却无人问津?对情感曲线的把握非常关键。

情感曲线这一概念由来已久,大师级作家都对它十分熟悉,有些人还会尝试找出其中的通用模式。举个例子,美国黑色幽默作家Kurt Vonnegut就认为最成功的情感曲线是《灰姑娘》的故事模式:在故事开头主人公灰姑娘身处困境,接着在仙女教母的帮助下扭转命运,其他难题也随之解决。

总结一下,即“苦难”的故事开头,但最终都有圆满的结局——王子和公主从此过上了幸福美满的生活。

毋庸置疑,故事的情感曲线往往会影响观众的参与度,包括观众在社交网络上的影评,以及是否将其推荐给其他朋友。据宾夕法尼亚大学对《纽约时报》的文章展开的研究发现,读者更乐意分享那些能引起强烈情感共鸣的故事,尤其是能唤起读者积极情绪的故事。由此可推测,电影观众也会有与读者相似的反馈方式。

来自MIT的一项基础实验:让机器成为电影观众

此前,佛蒙特大学开发了一种算法,即利用计算机扫描影片台词或剧本内容来构建情感曲线。

在此基础上,不久前MIT社会机器实验室又联合麦肯锡消费技术与媒体团队继续进行了深入研究,研发了基于深度神经网络的机器学习模型,用来观看影片、电视节目和网络短片中的细节特征,并实时评估其中包含的积极与消极情绪

这些模型的研究范围覆盖影片的所有元素,包括情节、角色、对话,及例如追车场景中的人脸特写或音乐片段等其他细节。通过将各部分组成一个整体,就形成了故事的情感曲线。

也就是说,当机器查看了未标记视频后,就能基于所有视听元素为故事创作出情感曲线。这是前所未见的。

以著名的3D动画电影《飞屋环游记》的片头为例,影片主角Carl Fredricksen是个脾气暴躁的小老头,在妻子Ellie去世后,他用数千个气球带着自己的房子飞向南美。为了更好展现Carl的探险旅程,编剧需要想出一个快速交代复杂背景故事的方法。

影片以一个无声的片段(只有背景音乐)为开头,随着Carl的生活场景徐徐展开,情感曲线也就出现了。(我们也观察了整部影片的情感曲线,但分段考查更能以小见大。)如下图:

 都是套路,麦肯锡与MIT研究出了能预测电影泪点的AI模型

图1:由机器算法所展现的电影《飞屋环游记》片头的情感曲线

从图中可以看到,影片中蒙太奇(在电影中指有意涵的时空人为的拼贴剪辑手法)的高低点,x轴是时间,以分钟为单位;y轴是视觉效价,即图像在特定时间唤起观众积极或消极情绪的程度。此处由机器打分,分数越高,情绪越积极。为开展全面分析,我们还用机器为完整影音建立了类似图表。不过重点在图像上,因为这也是接下来分析观众情感投入的研究重点。

在图中,视觉效价的分值为0到1,但并非每部电影的情感曲线都会跨域整个区间。重点在于相对效价,即某个场景与其他场景相比之下的积极或消极程度,以及情感曲线的整体形状。

和其他影片一样,《飞屋环游记》片头的蒙太奇片段中也有系列情绪波动,因此其情感曲线并非连续上升或下降。例如,Carl在儿时探险时,曲线到达了峰值(carl儿时的探险经历中有很多美好快乐的回忆);而当年轻的Ellie半夜恐吓Carl时,曲线瞬间大幅下滑。Carl受到惊吓后,曲线呈现了消极走向。另外两处的峰值间隔较长,出现于Carl和Ellie婚后渴望孩子以及老两口深情相拥的片段。结尾处, Carl在Ellie 病逝后独自一人回到家中,情感效价骤降。

目前,MIT的机器学习模型已经分析了上千部影片,并为每部影片绘制了情感曲线。为检验其准确性,团队还招募了志愿者为各电影片段手动标注情感标签,同时,志愿者们通过注明唤起情感共鸣的影片元素,如对话、音乐或画面,还可以不断优化模型。

寻找共性:为情感曲线分类

通过对影片分析数据的筛选,我们开发了一套为影片故事分类的方法,即把情感曲线相同的影片归为一类。这个方法结合了聚类算法k-medoids与动态时间规整算法,从而检测两个不同情绪变化频率的视频序列之间的相似之处。

整个研究过程选取了两个不同的数据集,分别由500多部好莱坞电影和Vimeo网站上的1500个短片构成,并从中归纳情感曲线的类别。

在初步分析其视觉效价时,我们发现大多数影片可归纳为几种类别,结果与Kurt Vonnegut的猜想一致。

 都是套路,麦肯锡与MIT研究出了能预测电影泪点的AI模型

图2:不同类别影片的情感曲线

从上图中看到,Vimeo数据集中的情感曲线可分为五类。例如,标黄的曲线类型在视频前期消极情绪激增,此后直至接近尾声,始终维持积极情绪。(经机器对数据进行分析评分,所有影片开头和结尾处的效价值都会偏低。)

让计算机成为“水晶球”:预测观众的参与度

了解影片的情感走向诚然有趣,但明确如何使用这些分析结果更为重要。

影片的情感曲线或曲线类别能否决定观众的观影反应?包含特定情感曲线的影片能否激发观众的情绪?研究团队尝试通过分析Vimeo短片的数据集来回答以上问题。(相较于声音曲线,视觉曲线与影片内容的关联性更强,且结合两种曲线会增加分析难度,因此决定围绕视觉曲线展开分析。)

在保证影响在线反馈的元数据(如影片长度和上传日期)不变的前提下,我们运用了回归模型分析影片的情感曲线特征。

需要说明的是,本研究的目的是预测Twitter及其他社交媒体上影片的评论数。除去评论中的负面内容,多数情况下,评论越多说明观众反应越强烈。但也有例外,比如像Gigli和Ishtar(《鸳鸯绑匪》和《伊斯达》)这类电影,尽管能引发大量网评,却鲜有好评。

在分析Vimeo短片时,利用视觉曲线确实可以预测观众的参与度,其中几类影片更能吸引评论(为确保准确性,每次分析都会选择不同类别的电影)由分析可知,图2标红的曲线类型走势起起伏伏,早期充满成功和喜悦,后期逐渐陷入不幸。在所有类别中,此类影片结局最悲惨。但尽管如此,还是会给观众留下深刻印象。

除此之外,在针对Vimeo短片的其他分析中,还有一类影片的评论最多,远高于其他影片(见图3)。这类影片多以积极的情感爆发作为故事高潮,接近曲线尾端时走势激增。而图中这两类影片的主要区别在于左侧图中的故事在圆满结局前的情绪波动更大。

 都是套路,麦肯锡与MIT研究出了能预测电影泪点的AI模型

图3:两类评论最多的影片类型

相较于其他悲情结局的电影,上图这两种影片的评论更多,这一发现或许与宾夕法尼亚大学研究表明观众更喜爱大团圆结局的结果正好相反。

在此基础上,研究团队还浏览了Vimeo网上短片的所有评论,对情感倾向进行分类评分,然后运行程序统计了评论长度。分析结果表明,上述三类影片(即黄色、红色和蓝色线条)的评论更长,观众反应更强烈。评论不仅只有“好电影”几个字,还可见走心评论,如“太棒了……太震撼了……仿佛受到了重击。”还有些评论也很醒目,它们不局限于个别的视觉画面,还在意影片带来的整体感受,或影片的情节走向。

事实上,这些分析并非要让编剧按照特定模版撰写剧本,就像要求George Orwell为《1984》续写美满结局来博观众欢心一样。但它们可以激励编剧客观地审视剧本内容,并作出相应调整以引发观众共鸣,包括改变关键场景配乐或对情节、对话或角色等内容进行微调。

总的来看,随着AI的推广,影片制作过程也在发生改变,编剧和作家可以借助人工智能来打磨情节,增加故事的吸引力,而导演也可以借此在影片中设置更具冲击力的动作捕捉。越来越多的影视从业者开始逐渐意识到AI的价值,并利用其中的价值进行创作。







原文出处:科技行者
转载请与作者联系,同时请务必标明文章原始出处和原文链接及本声明。
目录
相关文章
|
3月前
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六:YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8,并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据,文档介绍了如何使用`labelme`标注工具进行关键点标注,并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后,通过Jupyter Notebook可视化标注结果确保准确性。最后,文档展示了如何组织数据集目录结构,并提供了训练与测试代码示例,包括配置文件`smoke.yaml`及训练脚本`train.py`,帮助读者完成自定义模型的训练与评估。
|
20天前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
37 12
|
18天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与娱乐产业:电影制作的新工具
随着科技的发展,人工智能(AI)逐渐渗透到电影制作中,带来了前所未有的创新。本文探讨了AI在剧本创作、场景构建、特效制作、动作捕捉、音频处理、剪辑及市场调研等领域的应用,以及其对提升效率、激发创意和拓宽视野的影响,展望了AI在未来电影产业中的重要作用。
|
2天前
|
机器学习/深度学习 存储 人工智能
【AI系统】谷歌 TPU v2 训练芯片
2017年,谷歌推出TPU v2,专为神经网络训练设计,标志着从推理转向训练的重大转变。TPU v2引入多项创新,包括Vector Memory、Vector Unit、MXU及HBM内存,以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机,显著提升大规模模型训练的效率和性能。
8 0
|
2月前
|
Python 机器学习/深度学习 人工智能
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
【10月更文挑战第1天】本文通过构建一个简单的强化学习环境,演示了如何创建和训练智能体以完成特定任务。我们使用Python、OpenAI Gym和PyTorch搭建了一个基础的智能体,使其学会在CartPole-v1环境中保持杆子不倒。文中详细介绍了环境设置、神经网络构建及训练过程。此实战案例有助于理解智能体的工作原理及基本训练方法,为更复杂应用奠定基础。首先需安装必要库: ```bash pip install gym torch ``` 接着定义环境并与之交互,实现智能体的训练。通过多个回合的试错学习,智能体逐步优化其策略。这一过程虽从基础做起,但为后续研究提供了良好起点。
141 4
手把手教你从零开始构建并训练你的第一个强化学习智能体:深入浅出Agent项目实战,带你体验编程与AI结合的乐趣
|
2月前
|
人工智能 自然语言处理 机器人
MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨
麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。
49 2
|
3月前
|
人工智能 算法 程序员
程序员为何容易爱上AI?MIT学者诊断:智性恋浓度过高!
【9月更文挑战第20天】近日,一篇由MIT学者撰写的论文在网络上引发热议,探讨了程序员为何易对AI产生深厚情感,即“智性恋”。论文指出,程序员在开发和使用AI时,因对其智能和能力的钦佩而形成依赖与认同,但这可能导致过度依赖AI,忽视自身价值或其局限性,甚至引发不健康的竞争。论文链接:https://arxiv.org/pdf/2407.14933。
45 5
|
3月前
|
人工智能 开发工具 计算机视觉
AI计算机视觉笔记三十:yolov8_obb旋转框训练
本文介绍了如何使用AUTODL环境搭建YOLOv8-obb的训练流程。首先创建虚拟环境并激活,然后通过指定清华源安装ultralytics库。接着下载YOLOv8源码,并使用指定命令开始训练,过程中可能会下载yolov8n.pt文件。训练完成后,可使用相应命令进行预测测试。
|
3月前
|
人工智能 PyTorch 算法框架/工具
AI计算机视觉笔记二十二:基于 LeNet5 的手写数字识别及训练
本文介绍了使用PyTorch复现LeNet5模型并检测手写数字的过程。通过搭建PyTorch环境、安装相关库和下载MNIST数据集,实现了模型训练与测试。训练过程涉及创建虚拟环境、安装PyTorch及依赖库、准备数据集,并编写训练代码。最终模型在测试集上的准确率达到0.986,满足预期要求。此项目为后续在RK3568平台上部署模型奠定了基础。
|
3月前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。