开源版图生视频I2VGen-XL:单张图片生成高质量视频

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: VGen是由阿里巴巴通义实验室开发的开源视频生成模型和代码系列,具备非常先进和完善的视频生成系列能力

引言

目前视频生成算法都面临了如下的一些问题:

1、连续性:强调视频在时序上的连续性,运动的准确性。

2、真实性:强调视频质感、低信噪比等,避免‘一眼假’的程度。

3、可控性:视频生成的条件可控性,尤其是运动可控性。

4、高效性:生成视频的复杂度高,耗时较长

5、鲁棒性:提升视频生成的成功率,避免Cherry pick


VGen是由阿里巴巴通义实验室开发的开源视频生成模型和代码系列,具备非常先进和完善的视频生成系列能力,包含了如下内容:

  • VideoComposer:具有高度灵活可控性的视频合成
  • I2VGen-XL: 通过视频扩散模型进行高质量图像到视频的生成。
  • HiGen:分层时空解耦技术用于文本生成视频(T2V)
  • TF-T2V:使用无文本视频训练的规模化文本到视频模型的生成方法
  • InstructionVideo:通过人类反馈,优化视频扩散模型
  • DreamVideo:用定制主题和动作可控视频生成模型
  • VideoLCM:基于潜在性一致模型(LCM)优化视频模型生成速度


VGen可以根据输入的文本、图像、指定的运动、指定的主体,甚至人类提供的反馈信号生成高质量的视频。它还提供了各类常用的视频生成模型工具,例如可视化、采样、训练、推理、使用图像和视频的联合训练,加速等各类工具和技术。


本文介绍VGen中的的图生视频算法I2VGen-XL可以精细到什么程度?1280×720 分辨率没有压力,而且生成的动作效果非常连贯。


I2VGen-XL图生视频算法,得益于扩散模型的快速发展,面向视频生成模型难以同时确保语义准确性和视频生成的质量。


级联I2VGen-XL的方法,能够成功的生成具有连贯的空间和运动动力学和连续细节的高清视频。I2VGen-XL首先利用单个静态图像作为主要条件来减少对良好对齐的文本-视频对的依赖。主要由如下两个阶段组成。

在基础阶段中,采用两个分层编码器来同时补货输入图像的高级语义和低级细节,从而确保更逼真的动态,同时保留图像的内容和结构。在细化的阶段中,利用单独的扩散模型来增强分辨率,并通过细化细节来显著改善视频的时间连续性。


下面是I2VGen-XL高清图像视频生成的官方示例,我们可以看到在较大的运动幅度上取得了较为真实,连贯,真实的高质量视频:


1 00_00_00-00_00_30.gif



image_01_00_fireworks_8k 00_00_00-00_00_30.gif


同时,和现在评价比较好的视频生成模型和软件做了对比,I2VGen-XL也效果很能打,主要体现在I2VGen—XL的不俗的动作生成能力:

其他的视频生成模型,更多是镜头的平移,物体的动作比较轻微。

test1 00_00_00-00_00_30.gif

I2VGen-XL,比较好的展现了鱼游泳的姿态

test2 00_00_00-00_00_30.gif

其他的视频生成模型,更多是镜头的平移,看不到瀑布的流动性

test3 00_00_00-00_00_30.gif

I2VGen-XL,比较好的展现了瀑布水流的效果。

test4 00_00_00-00_00_30.gif

I2VGen-XL现已在魔搭社区开源!


github地址:

https://github.com/ali-vilab/i2vgen-xl


模型weights地址:

https://modelscope.cn/models/damo/i2vgen-xl


创空间体验地址:

https://modelscope.cn/studios/damo/I2VGen-XL


论文地址:

https://arxiv.org/pdf/2311.04145.pdf


项目主页:

https://i2vgen-xl.github.io


环境准备

环境配置与安装

  1. python 3.8及以上版本
  2. pytorch 1.12及以上版本,推荐2.0及以上版本
  3. 建议使用CUDA 11.4及以上

本文主要演示的模型推理代码可在PAI-DSW的配置下运行(显存要求45G)


模型推理

模型推理代码:

# need A100 
from modelscope.pipelines import pipeline
from modelscope import snapshot_download
model_dir = snapshot_download('damo/i2vgen-xl', revision='v1.1.3')
inference = pipeline('image-to-video', model=model_dir)
image = model_dir + '/data/test_images/img_0001.jpg'
output = inference(image, caption="""the puppy is on the surface of the ground, the sunlight softly illuminates the puppy's fur, accentuating its cuteness. The puppy is looking directly into the camera with an innocent and curious expression on its face. """)
print(output)


小编也用一张图片:


prompt:

the puppy is on the surface of the ground, the sunlight softly illuminates the puppy's fur, accentuating its cuteness. The puppy is looking directly into the camera with an innocent and curious expression on its face.


生成了如下视频:

image_01_00_the_puppy_is_on_the_surface_of_the_ground_the_sunlight_softly_illuminates_the_puppys_fur_accentuating_its_cuteness_The_puppy_is_looking_directly_into_the_camera_with_an_innocent_and_curiou 00_00_00-00_00_30.gif

很惊喜的看到,动作连贯的同时,清晰度很高,光影的效果也很喜人,大家快来尝试吧!

申请链接:https://modelscope.cn/studios/damo/I2VGen-XL/

相关文章
|
10月前
|
人工智能 搜索推荐
StableIdentity:可插入图像/视频/3D生成,单张图即可变成超人,可直接与ControlNet配合使用
【2月更文挑战第17天】StableIdentity:可插入图像/视频/3D生成,单张图即可变成超人,可直接与ControlNet配合使用
243 2
StableIdentity:可插入图像/视频/3D生成,单张图即可变成超人,可直接与ControlNet配合使用
|
10月前
|
机器学习/深度学习 算法 数据可视化
一图胜千言:EBImage库分割和标注让你的图像说话
一图胜千言:EBImage库分割和标注让你的图像说话
254 0
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
四张图片道清AI大模型的发展史(1943-2023)
现在最火的莫过于GPT了,也就是大规模语言模型(LLM)。“LLM” 是 “Large Language Model”(大语言模型)的简称,通常用来指代具有巨大规模参数和复杂架构的自然语言处理模型,例如像 GPT-3(Generative Pre-trained Transformer 3)这样的模型。这些模型在处理文本和语言任务方面表现出色,但其庞大的参数量和计算需求使得它们被称为大模型。当然也有一些自动生成图片的模型,但是影响力就不如GPT这么大了。
3591 0
|
6月前
|
编解码 人工智能 测试技术
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治切分增大分辨率后遗症
【9月更文挑战第7天】华中科技大学与华南理工大学联合发布了一款名为Mini-Monkey的2B参数多模态大语言模型,采用多尺度自适应裁剪策略(MSAC)和尺度压缩机制(SCM),在高分辨率图像处理方面取得突破,尤其在文档理解上超越了8B参数的SOTA模型InternVL2-8B。Mini-Monkey仅需8张RTX 3090显卡即可完成训练,展现出高效性能,但处理复杂图像场景时仍存局限。论文详情见:https://arxiv.org/pdf/2408.02034。
100 8
|
7月前
|
存储 安全 Java
"Java编码魔法:揭秘图片与文件的Base64神秘转换术,让数据在指尖跳跃!"
【8月更文挑战第16天】Base64编码在Java开发中常用于将二进制数据如图片转换为ASCII字符串以便传输。编码使用64个字符及等号填充,每3字节数据编码为4个字符。Java利用`java.util.Base64`类实现此功能:读取图片或文件为字节数组后进行编码。解码时将Base64字符串还原为字节数组并写入文件。需注意编码效率降低、不提供安全性及特殊字符兼容性等问题。掌握这些技巧有助于解决Web开发中的数据传输需求。
177 4
好的商业模式,神笔,一根笔,图库,将一张张的图片排列成一个库
好的商业模式,神笔,一根笔,图库,将一张张的图片排列成一个库
|
存储 编解码 算法
带你读《多媒体技术教程(原书第2版)》之三:图形和图像的数据表现
本书内容取自课堂上讲述的实际素材,适合作为计算机科学和工程专业学生的教材。从多媒体数据表现、多媒体数据压缩、多媒体通信和联网、多媒体信息分享和检索四个层面对多媒体涉及的基本概念、基本原理和基本技术进行了详细介绍。作者用一种实用的方式来讲述基本概念,使学生能够运用享有的技术来解决现实多媒体世界中的问题。
|
机器学习/深度学习 人工智能 数据可视化
AAAI 2022 Oral | 无需人工标注,清华、快手提出基于参考图像的单张生成图像质量评价方法
AAAI 2022 Oral | 无需人工标注,清华、快手提出基于参考图像的单张生成图像质量评价方法
131 0
|
机器学习/深度学习 传感器 并行计算
马普所开源ICON,显著提高单张图像重建三维数字人的姿势水平 | CVPR 2022
马普所开源ICON,显著提高单张图像重建三维数字人的姿势水平 | CVPR 2022
192 0

热门文章

最新文章