引入
这是一段特效短片,虽然只有四秒,但它在推特上斩获了十多万浏览。
提问,这条视频是用什么做的?
1.Unity
2.Houdini
3.illusion
好,现在公布答案。
这是由ModelScope上的开源模型I2VGen-XL制作的。
魔搭亲自问了作者,这个视频从无到有,只花了两分钟。
哎,肯定有人说,数字生命卡兹克做流浪地球的宣传片,就生成了几百个镜头,还有前期的脚本筹划,ai做视频太复杂啦。
别急!我们不光开源了I2VGen-XL,还专门打造了一个集合工具!
github开源地址:https://github.com/modelscope/motionagent
能一键生成剧本、剧照、视频、音乐的应用页面。
框架介绍
这个集合工具集成了大语言模型,文本生成图片模型,视频生成模型,音乐生成模型。你只需要贡献一个脑洞和创造力,下面的就都交给AI吧。
其中大语言模型是通义千问-7B-chat,你是不是,有想象力,但是很难表达?从来没有创作过剧本?中文很好,但是很多开源的文生图,文生视频模型目前还是基于英文的prompt?没关系,通义千问-7B-Chat,通过大模型的协作创作力,中英双语的多语言能力,你只需要简单描述希望写的剧本内容,它就可以帮你创作剧本,做好分镜,写好提示词,妥妥的编剧小能手。
其中文本生成图片,用的是stability最新的SDXL模型,它集高质量的文本到图像模型,一流的真实感和自由的风格定义,以及高稳定性为一体,是我们集合工具中最佳剧照产出者。
核心模型就是I2VGen-XL啦,他包含了一个图片生成视频模型和一个高清视频生成模型,可以配合prompt把一幅图片变成一个四秒的短片,且毫无违和感,很震撼。
最后我们还用了音乐生成模型,给定文字描述就可以生成想要各种音乐。
集成了通义千问,SDXL,I2VGen-XL等开源模型,先看一个自己生成的案例:
视频链接:https://live.csdn.net/v/324732
操作流程
剧本生成
我们使用的通义千问-7B的模型,利用大模型的创作能力剧本生成,打造世界观和讲故事是创作者最核心的能力,创作者输入主题,背景,剧情推动的幕数,以及剧情要求,结合通义千问-7B大语言模型生成高质量的内容。
剧照生成
剧照生成,输入剧本,大模型可以结合剧本内容,生成剧照描述,并转化为文生图模型的提示词prompt。同时可以选择合适的风格和参数,就可以生成剧照。
视频生成
视频生成,上传剧照,点击生成,得到满意的视频框架,再补充对视频内容的文本描述,然后生成高分辨率的视频。
音乐生成
音乐生成,音乐会极大影响观众如何感知视觉内容,并激发另一种浸入内容的感官体验。剪辑时需要搭配上视频和音乐的节拍,能够帮助用户整理预告片中表达的思路和故事线。
ENDING
以上,就是使用MotionAgent来生成视频的方法。只要告诉AI你的灵感火花,它就能像这样一站式生成视频,将你的想法轻松变成现实。在未来,视频的生成效果还将继续优化,创作能发挥的空间将越来越广阔。
人人都能成为艺术家即将到来,快来阿里云生成你的第一部AIGC影片吧!
欢迎大家来使用:https://github.com/modelscope/motionagent