天行者在《欧比旺》里的50句台词,让这家AI克隆语音的公司做了10万个交流文件

简介: 天行者在《欧比旺》里的50句台词,让这家AI克隆语音的公司做了10万个交流文件

image.png

相信只要一提到《星球大战》,不少人的第一印象就是天行者
作为一名反派,天行者这个人物形象塑造得相当成功。美国电影学会在“AFI百年百大英雄与反派”将天行者列为百年第三伟大的电影反派,仅次于《沉默的羔羊》的汉尼拔·莱克特(Hannibal Lecter)和《惊魂记》的诺曼·贝兹(Norman Bates)。
随着今年《欧比旺》的播出,绝地大师与天行者也再度引起了不少讨论。

image.png


就在最近,在为达斯·维德配音了45年之后,今年91岁的詹姆斯·厄尔·琼斯(James Earl Jones)向迪士尼表达出了想淡出这项工作的想法。

经过慎重考虑和权衡后,迪士尼决定,准备用人工智能程序来逐渐取代琼斯。
根据名利场,琼斯已经录制了自己的声音档案,以“让维德继续活着”。卢卡斯影业资深人士表示,尽管琼斯在《欧比旺》中成功扮演了一个“仁慈的教父”,但很多场景中的声音都是由人工智能完成的。
对此,不少网友表示,这是一个很好的想法。“如果演员们想要参与到未来的拍摄计划中来,那么这至少是一个体面的做法”。

image.png

50句台词=10000个语音文件交流


负责还原天行者声音的公司是一家乌克兰的初创公司Respeecher
与其他的语音复制不同的是,Respeecher可以说几乎重现了现年91岁的琼斯半生前听起来令人难忘的气势。
几十年来,保守估计琼斯至少为这个角色录了十几次电影或电视剧项目。2019年在《星球大战9:天行者崛起》拍摄结束后,琼斯就萌生出了从这个角色身上逐渐淡出的想法,但是对于迪士尼而言,如何替代琼斯便成了一个难题。
当Respeecher作为一种可能性对琼斯提及的时候,他决定签署使用他的档案语音记录的同意书,以保持天行者在大银幕上的生命力和活力。

或许,这对于一个半机械的角色来说,或许也是最好的安排

image.png此前,卢卡斯影业资深人士马修伍德、《欧比旺》导演和节目黛博拉·周和Respeecher团队一直在进行密切交流。伍德说:“像天行者这样的角色,在剧中可能有50句台词,但我们之间的文件来往几乎超过10,000个。”其中大部分是对话的变化和随后的微调。

Respeecher的首席执行官和联合创始人Alex Serdiuk表示,能够为星球大战电视剧克隆天行者的声音,他感到十分自豪,并希望通过这个项目向世界传达,乌克兰人帮助实现了那场特殊的银河系之旅。

虽然6月份《欧比旺》已经完结了,但是Respeecher的工作一直在继续,主要是在那些仍然保密的项目上。“这确实很难”,Serdiuk说,“尤其是当前乌克兰正处于一个混乱和痛苦的阶段,许多难民、平民和军队因为战争而牺牲”。

5步实现语音克隆自由

根据介绍,Respeecher主要使用档案录音人工智能算法来学习并模仿用户的声音。就结果来说,这样的语音克隆项目与原始声音听上去并没有什么太大的区别,他们甚至在一些不常用的单词、外语和一些咯咯笑的语气词上下了很大功夫。


image.png

想要复制自己的语音,整个过程只需要5步。

取得用户许可之后,Respeecher会收集用户的语音数据,这个数据可以是预先录好的,也可以是刚录制的。除此之外,用户可能还需要提供高质量的源声音录音,但这个并不是必需的,因为系统可以从源扬声器中直接进行转换。
接下来,Respeecher就会训练他们的AI系统来创建完美的语音到语音交换模型。用户只需要对着麦克风讲话,发送音频文件以转换或使用Respeecher方便的网络应用程序或API,就能获得克隆的声音了。

image.png

据官网介绍,Respeecher能够将用户的声音自由转换为60多种自然的人类(以及动物)声音,同时还会保留表演的情感。

用户还可以在官网对系统进行3天的免费测试和试用,可以选择性别、年龄和音符的高低度。试用结束后,用户可以以每个月200美元的价格解锁所有的声音项目。虽然系统主要是为以英语为母语的人服务的,但不少其他语种的用户也给予了很高的评价。


image.png纪录片制作人David Romberg表示,当他带着一个非常敏感和私人的纪录片项目联系Respeecher时,他对Respeecher的专业程度和道德意识有十分深刻的印象。Respeecher对语音克隆过程的方法是高度个人化和透明的,这也符合纪录片一贯要求的道德标准。总的来说,他对结果非常满意。

技术与艺术的难题

虽然此般克隆与保存天行者声音的做法普遍得到了网友们的认可,但这也无疑会加剧关于如何在艺术领域使用类似技术的分歧。

最近,全球最大的图像库Getty Images开始禁止用户上传和销售使用DALL-E、Midjourney和Stable Diffusion等AI工具生成的插图。

首席执行官Craig Peters表示,这项政策是出于对AI生成内容合法性的担忧以及保护客户的愿景。

“对于AI模型生成作品的版权以及图像元数据和图像包含元素的权利归属问题,令人非常担忧,”Peters说。鉴于此,出售人工智能艺术品或插图可能会使Getty Images的用户面临法律风险,“我们正积极主动地维护客户的权益”。

对于这项禁令,AI图像生成器的创建者表示,技术本身是合法的

以Stable Diffusion为例,系统需要从网络上抓取受版权保护的图像,比如个人艺术博客、新闻网站和像Getty Images这样的图片库,进行训练。这样的行为在美国是合法的,生成结果也可被“合理使用”原则所涵盖。不过需要指出的是,这项原则对于出售图片等商业活动的保护力较弱,一些艺术家的作品就被人工智能抄袭和模仿。

“世界早已充斥着图像。鉴于成本降低以及拍摄、传输和使用的简单性,数码相机使图像内容产生了指数级增长。智能手机和社交媒体的引入将这一领域提升到了全新的水平。人们拍摄和发布了数万亿张图像。我们的业务从来都不是关于创建图像的难易程度或产生的数量。它是关于连接和切入的。

而Shutterstock做得更彻底,网站还限制了对人工智能内容的搜索,但尚未推出具体政策。其他平台多出于保护客户以外的原因删除了AI图像,例如FurAffinity表示,它禁止人工智能的艺术作品,因为它们伤到了人类艺术家。

但是,考虑到AI对于日常生活的渗透程度,要完全拒绝AI或许也是不现实的。正如一位网友所说,“如果演员本人都同意了,那我看不出使用AI来克隆演员声音有什么问题。谁有权对此发表意见呢?”


image.png


相关文章
|
2天前
|
机器学习/深度学习 人工智能 安全
CCF-CV企业交流会:打造大模型时代的可信AI,探索AI安全治理新路径
近日,由中国计算机学会计算机视觉专委会主办的《打造大模型时代的可信AI》论坛顺利举行。论坛邀请了来自上海交通大学、中国科学技术大学等机构的专家,从立法、监管、前沿研究等多角度探讨AI安全治理。合合信息等企业展示了图像篡改检测等技术,助力AI向善发展。
34 11
CCF-CV企业交流会:打造大模型时代的可信AI,探索AI安全治理新路径
|
8天前
|
人工智能 API 语音技术
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
TEN Agent 是一个开源的实时多模态 AI 代理框架,集成了 OpenAI Realtime API 和 RTC 技术,支持语音、文本和图像的多模态交互,具备实时通信、模块化设计和多语言支持等功能,适用于智能客服、实时语音助手等多种场景。
88 15
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
|
13天前
|
存储 机器学习/深度学习 PyTorch
【AI系统】推理文件格式
本文介绍了神经网络模型的序列化与反序列化技术,涵盖跨平台通用序列化方法(如 Protobuf 和 FlatBuffers)、模型自定义序列化方法、语言级通用序列化方法等,重点讨论了这两种流行文件格式的特点、使用场景及其在模型部署中的作用。
26 1
【AI系统】推理文件格式
|
2月前
|
存储 人工智能 分布式计算
Parquet 文件格式详解与实战 | AI应用开发
Parquet 是一种列式存储文件格式,专为大规模数据处理设计,广泛应用于 Hadoop 生态系统及其他大数据平台。本文介绍 Parquet 的特点和作用,并演示如何在 Python 中使用 Pandas 库生成和读取 Parquet 文件,包括环境准备、生成和读取文件的具体步骤。【10月更文挑战第13天】
377 60
|
26天前
|
人工智能 机器人 Shell
AI语音机器人安装方法 AI机器人安装代码
AI语音机器人安装方法 AI机器人安装代码
28 2
|
28天前
|
人工智能 自然语言处理 机器人
手把手带你搭建一个语音对话机器人,5分钟定制个人AI小助手(新手入门篇)
本文介绍了如何从零开始搭建一个语音对话机器人,涵盖自动语音识别(ASR)、自然语言处理(NLP)和文本到语音合成(TTS)三大核心模块。通过使用开源工具如FunASR、LLaMA3-8B和ChatTTS,以及FastAPI和Gradio等技术,详细指导读者轻松实现个人AI小助手的构建,适合技术新手快速上手。
200 1
|
2月前
|
人工智能
三文带你轻松上手鸿蒙的AI语音03-文本合成声音
三文带你轻松上手鸿蒙的AI语音03-文本合成声音
66 1
三文带你轻松上手鸿蒙的AI语音03-文本合成声音
|
2月前
|
存储 人工智能 开发者
三文带你轻松上手鸿蒙的AI语音02-声音文件转文本
三文带你轻松上手鸿蒙的AI语音02-声音文件转文本
106 0
三文带你轻松上手鸿蒙的AI语音02-声音文件转文本
|
2月前
|
人工智能 语音技术 数据格式
三文带你轻松上手鸿蒙的AI语音01-实时语音识别
三文带你轻松上手鸿蒙的AI语音01-实时语音识别
48 0
三文带你轻松上手鸿蒙的AI语音01-实时语音识别
|
3月前
|
机器学习/深度学习 人工智能 编解码
深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
【9月更文挑战第2天】深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
 深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
下一篇
DataWorks