一站式视频生成-MotionAgent操作指南

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 这是一段特效短片,虽然只有四秒,但它在推特上斩获了十多万浏览。

引入

这是一段特效短片,虽然只有四秒,但它在推特上斩获了十多万浏览。

提问,这条视频是用什么做的?


1.Unity

2.Houdini

3.illusion


好,现在公布答案。


这是由ModelScope上的开源模型I2VGen-XL制作的。

魔搭亲自问了作者,这个视频从无到有,只花了两分钟。


哎,肯定有人说,数字生命卡兹克做流浪地球的宣传片,就生成了几百个镜头,还有前期的脚本筹划,ai做视频太复杂啦。


别急!我们不光开源了I2VGen-XL,还专门打造了一个集合工具!

github开源地址:https://github.com/modelscope/motionagent

能一键生成剧本、剧照、视频、音乐的应用页面。



框架介绍


这个集合工具集成了大语言模型,文本生成图片模型,视频生成模型,音乐生成模型。你只需要贡献一个脑洞和创造力,下面的就都交给AI吧。


其中大语言模型是通义千问-7B-chat,你是不是,有想象力,但是很难表达?从来没有创作过剧本?中文很好,但是很多开源的文生图,文生视频模型目前还是基于英文的prompt?没关系,通义千问-7B-Chat,通过大模型的协作创作力,中英双语的多语言能力,你只需要简单描述希望写的剧本内容,它就可以帮你创作剧本,做好分镜,写好提示词,妥妥的编剧小能手。


其中文本生成图片,用的是stability最新的SDXL模型,它集高质量的文本到图像模型,一流的真实感和自由的风格定义,以及高稳定性为一体,是我们集合工具中最佳剧照产出者。


核心模型就是I2VGen-XL啦,他包含了一个图片生成视频模型和一个高清视频生成模型,可以配合prompt把一幅图片变成一个四秒的短片,且毫无违和感,很震撼。

最后我们还用了音乐生成模型,给定文字描述就可以生成想要各种音乐。


集成了通义千问,SDXL,I2VGen-XL等开源模型,先看一个自己生成的案例:


视频链接:https://live.csdn.net/v/324732



操作流程


剧本生成

我们使用的通义千问-7B的模型,利用大模型的创作能力剧本生成,打造世界观和讲故事是创作者最核心的能力,创作者输入主题,背景,剧情推动的幕数,以及剧情要求,结合通义千问-7B大语言模型生成高质量的内容。


剧照生成

剧照生成,输入剧本,大模型可以结合剧本内容,生成剧照描述,并转化为文生图模型的提示词prompt。同时可以选择合适的风格和参数,就可以生成剧照。


视频生成

视频生成,上传剧照,点击生成,得到满意的视频框架,再补充对视频内容的文本描述,然后生成高分辨率的视频。


音乐生成

音乐生成,音乐会极大影响观众如何感知视觉内容,并激发另一种浸入内容的感官体验。剪辑时需要搭配上视频和音乐的节拍,能够帮助用户整理预告片中表达的思路和故事线。


ENDING


以上,就是使用MotionAgent来生成视频的方法。只要告诉AI你的灵感火花,它就能像这样一站式生成视频,将你的想法轻松变成现实。在未来,视频的生成效果还将继续优化,创作能发挥的空间将越来越广阔。


人人都能成为艺术家即将到来,快来阿里云生成你的第一部AIGC影片吧!


欢迎大家来使用:https://github.com/modelscope/motionagent


相关文章
|
6月前
|
SQL 运维 安全
客户说|享道出行 x DMS,构建一站式高效、安全的数据运维管理平台
享道出行通过引入一站式运维管理系统DMS,有效地降低数据运维的复杂性,提升运维团队的工作效率,同时保障IT系统的稳定性和安全性,最终实现业务的持续性和稳定发展。
|
6月前
|
SQL 存储 安全
CloudQuery一体化数据库SQL操作安全管控平台
CloudQuery一体化数据库SQL操作安全管控平台
342 0
|
存储 运维 DataWorks
DataWorks是阿里云推出的一款云数据集成、数据开发、数据运维一体化的数据开发平台
DataWorks是阿里云推出的一款云数据集成、数据开发、数据运维一体化的数据开发平台
214 4
|
SQL 数据可视化 数据挖掘
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——7. 自助分析:灵活分析,快速释放数据价值
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——7. 自助分析:灵活分析,快速释放数据价值
151 0
|
存储 分布式计算 关系型数据库
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——三、产品订购与部署说明
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——三、产品订购与部署说明
101 0
|
SQL API 数据安全/隐私保护
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——6. 数据服务:集中管控,快速服务业务系统
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——6. 数据服务:集中管控,快速服务业务系统
224 0
|
分布式计算 云计算 数据格式
【MemVerge上云系列】生物信息分析工作流上云技术分享1:数据驱动的工作流编排
MemVerge上云系列技术分享,为MemVerge公司Memory Machine Cloud应用级云平台产研技术专家,针对各垂直行业的上云场景,分享如果将垂直行业的各类计算框架与公有云相结合,来充分发挥公有云算力的优势,提升垂直行业客户的上云体验。
|
数据采集 存储 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
661 0
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
|
存储 分布式计算 关系型数据库
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——五、售卖部署说明
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——五、售卖部署说明
201 0
|
数据采集 SQL 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
535 0

热门文章

最新文章

下一篇
无影云桌面