把脚本变成视频,人工智能只需要一步

简介: 来自Meta的一个机器学习工程师团队发布了一个名为Make-A-Video的新系统。顾名思义,这种人工智能模型允许用户以文本方式输入一个场景的粗略描述,它将快速生成与文本匹配的短视频。这些视频虽然主题模糊,动画失真,但仍然代表着人工智能内容生成领域的重大发展。

Meta在一篇宣布这项工作的博客文章中表示:“生成式人工智能研究为人们提供了快速、轻松创建新内容的工具,从而推动了创造性表达的发展。只需几句话或几行文字,Make-A-Video就能将想象力赋予生命,创造出独一无二的充满生动色彩和风景的视频。”
image.png
Meta首席执行官马克·扎克伯格在Facebook上称这项工作是“惊人的进步”,并补充说:“生成视频比生成照片要困难得多,因为除了正确生成每个像素外,系统还必须预测它们将如何随时间变化。”

这些视频不超过5秒,不包含任何音频,但包含了大量的提示。判断模型性能的最佳方法是观察它的输出。不过目前不允许任何人访问模型。这意味着这些片段可能是研发人员精心挑选出来的,以最好的方式展示这个系统。

同样,虽然这些视频显然是计算机生成的,但这种人工智能模型的输出在不久的将来将迅速提高。相比之下,在短短几年的时间里,人工智能图像生成器已经从创造难以理解的边缘图片发展到逼真的内容。尽管视频的进展可能会因为这一主题的近乎无限的复杂性而缓慢,但无缝视频生成的价值将激励许多机构和公司向该项目投入大量资源。

与文本到图像模型一样,有可能也会产生有害的应用。

Meta在宣布Make-a-Video的博客中指出,视频生成工具“对创作者和艺术家”来说可能是无价的。但是,就像从文本到图像的模式一样,前景也令人担忧。这些工具的输出可能被用于虚假信息、宣传。

Meta表示,它希望“对如何构建这样的生成式AI系统进行深思熟虑”,目前只发表了一篇关于Make-A-Video模型的论文。该公司表示,计划发布该系统的演示版本,但没有说明何时或如何限制对该模型的访问。

值得一提的是,Meta并不是唯一一家致力于AI视频生成器的机构。今年早些时候,清华大学和北京人工智能研究院(BAAI)的一组研究人员发布了他们自己的文本到视频模型,命名为CogVideo。

Meta的研究人员在一篇描述该模型的论文中指出,Make-A-Video正在对成对的图像和标题以及未标记的视频片段进行训练。培训内容来自两个数据集(WebVid-10M和HD-VILA-100M),这两个数据集总共包含了数百万个视频,跨越数十万小时的镜头。这包括由Shutterstock等网站创建并从网上抓取的库存视频片段。

研究人员在论文中指出,除了模糊的镜头和不连贯的动画外,该模型还有许多技术局限性。例如,它们的训练方法无法学习可能只有人类观看视频时才能推断出的信息——例如,一个挥手的视频是从左向右还是从右向左。其他问题包括生成超过5秒的视频,包含多个场景和事件的视频,以及更高的分辨率。Make-A-Video目前输出16帧分辨率为64 64像素的视频,然后使用单独的人工智能模型将其尺寸提高到768 768。

Meta的团队还指出,就像所有使用从网络上抓取的数据训练的人工智能模型一样,Make-A-Video学习并可能夸大了社会偏见,包括有害的偏见。在文本到图像的模型中,这些偏见通常会强化社会偏见。例如,让一个生成一个“恐怖分子”的图像,它很可能描绘的是一个戴着头巾的人。然而,在没有开放访问的情况下,很难说Meta的模型学习到了什么偏见。

Meta表示,该公司“正在与技术社区公开分享这种生成式AI研究和结果,以获得他们的反馈,并将继续使用我们负责任的AI框架来完善和发展我们对这种新兴技术的方法。”
随着绘画和视频领域人工智能生成器逐渐火热,相信很快(也许已经)就会出现其他艺术(比如音乐)的人工智能生成工具了。

相关文章
|
机器学习/深度学习 人工智能 数据挖掘
机器学习、深度学习人工智能课程(632.45G)全套学习视频免费分享,资料下载
人工智能越来越热,机器学习,深度学习,量化交易,数据挖掘等越来越受到人门青睐 这里分享学习视频数据给大家,这样在知识的传递中,可以进行互相交流,探讨,促进学习的进步
423 0
机器学习、深度学习人工智能课程(632.45G)全套学习视频免费分享,资料下载
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】python之人工智能应用篇——视频生成技术
视频生成技术是一种基于深度学习和机器学习的先进技术,它使得计算机能够根据给定的文本、图像、视频等单模态或多模态数据,自动生成符合描述的、高保真的视频内容。这种技术主要依赖于深度学习模型,如生成对抗网络(GAN)、自回归模型(Auto-regressive Model)、扩散模型(Diffusion Model)等。其中,GAN由两个神经网络组成:一个生成器用于生成逼真的图像或视频,另一个判别器用于判断生成的图像或视频是否真实。通过不断的对抗学习,生成器和判别器共同优化,以产生更高质量的视频。
103 2
|
人工智能 并行计算 数据安全/隐私保护
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
视频以及图片修复技术是一项具有挑战性的AI视觉任务,它涉及在视频或者图片序列中填补缺失或损坏的区域,同时保持空间和时间的连贯性。该技术在视频补全、对象移除、视频恢复等领域有广泛应用。近年来,两种突出的方案在视频修复中崭露头角:flow-based propagation和spatiotemporal Transformers。尽管两套方案都还不错,但它们也存在一些局限性,如空间错位、时间范围有限和过高的成本。 说白了,你通过AI技术移除水印或者修复一段不清晰的视频,但结果却没法保证连贯性,让人一眼能看出来这个视频或者图片还是缺失状态,与此同时,过高的算力成本也是普通人难以承受的。
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
|
7月前
|
人工智能 搜索推荐 大数据
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
|
机器学习/深度学习 人工智能 自然语言处理
跟着阿里训练营视频课程学习人工智能技术遇到的模型网络概念问题
参加人像卡通画训练营视频课程记录的一些概念介绍内容
154 0
|
机器学习/深度学习 人工智能 监控
CVPR 2022 Oral | 人大高瓴人工智能学院让AI学会了听音乐,还开源9288个视频数据集
CVPR 2022 Oral | 人大高瓴人工智能学院让AI学会了听音乐,还开源9288个视频数据集
160 0
|
机器学习/深度学习 人工智能 自然语言处理
人工智能如何改变视频游戏产业:增强和合成媒体
人工智能如何改变视频游戏产业:增强和合成媒体
138 0
人工智能如何改变视频游戏产业:增强和合成媒体
|
机器学习/深度学习 人工智能 计算机视觉
《视频云+人工智能计算机视觉和机器学习在消费级视频中的应用》电子版地址
视频云+人工智能计算机视觉和机器学习在消费级视频中的应用
108 0
《视频云+人工智能计算机视觉和机器学习在消费级视频中的应用》电子版地址
|
人工智能
机器之心年度视频:3分钟带你回顾2016人工智能大事件
机器之心年度视频:3分钟带你回顾2016人工智能大事件
126 0
机器之心年度视频:3分钟带你回顾2016人工智能大事件
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能在医疗诊断中的应用与前景####
本文深入探讨了人工智能(AI)技术在医疗诊断领域的应用现状、面临的挑战及未来发展趋势。通过分析AI如何辅助医生进行疾病诊断,提高诊断效率和准确性,以及其在个性化医疗中的潜力,文章揭示了AI技术对医疗行业变革的推动作用。同时,也指出了数据隐私、算法偏见等伦理问题,并展望了AI与人类医生协同工作的前景。 ####
17 0