LeviTor:蚂蚁集团开源3D目标轨迹控制视频合成技术,能够控制视频中3D物体的运动轨迹

本文涉及的产品
视觉智能开放平台,图像通用资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频通用资源包5000点
简介: LeviTor是由南京大学、蚂蚁集团等机构联合推出的3D目标轨迹控制视频合成技术,通过结合深度信息和K-means聚类点控制视频中3D物体的轨迹,无需显式的3D轨迹跟踪。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 技术背景:LeviTor结合深度信息和K-means聚类点控制视频中3D物体的轨迹,无需显式的3D轨迹跟踪。
  2. 主要功能:精确操控物体运动、增强创意应用、简化用户输入、自动提取深度信息和物体掩码。
  3. 应用场景:适用于电影特效、游戏动画、虚拟现实、增强现实和广告视频制作等多个领域。

正文(附运行示例)

LeviTor 是什么

公众号: 蚝油菜花 - LeviTor

LeviTor是由南京大学、蚂蚁集团、浙江大学等机构联合推出的图像到视频合成技术。该技术结合了深度信息和K-means聚类点,能够控制视频中3D物体的轨迹,而无需显式的3D轨迹跟踪。LeviTor使用高质量的视频对象分割数据集进行训练,能够有效捕捉复杂场景中的物体运动和交互。

通过用户友好的推理流程,LeviTor简化了3D轨迹输入,使得视频生成技术更加先进和易用。它的引入为3D物体轨迹控制铺平了道路,拓宽了创意应用的范围,适用于更广泛的用户群体。

LeviTor 的主要功能

  • 精确操控物体运动:在从静态图像生成视频时,精确控制物体的运动轨迹。
  • 增强创意应用:基于3D轨迹控制,拓宽视频合成的创意应用范围。
  • 简化用户输入:用户可以通过简单的2D图像上的绘制和深度调整输入3D轨迹,降低技术门槛。
  • 自动提取深度信息和物体掩码:系统自动从图像中提取深度信息和物体掩码,减少用户操作。
  • 交互式轨迹绘制:用户可以交互式地绘制物体轨迹,系统将其解释为3D路径。

LeviTor 的技术原理

  • K-means聚类:对视频对象掩码(mask)的像素进行K-means聚类,得到一组代表性的控制点。
  • 深度信息融合:深度估计网络DepthAnythingV2预测相对深度图,并在每个控制点采样深度,为控制点增添深度信息。
  • 控制信号构建:结合2D坐标和估计的深度值,构建控制轨迹,轨迹作为视频扩散模型的控制信号。
  • 视频扩散模型:将控制信号输入到视频扩散模型中,生成与3D轨迹对齐的视频。
  • 用户友好的推理流程:设计用户友好的交互系统,用户通过点击和调整深度值输入3D轨迹。

如何运行 LeviTor

环境设置

  1. 克隆仓库

    git clone https://github.com/qiuyu96/LeviTor.git
    cd LeviTor
    
  2. 下载并解压检查点
    创建checkpoints目录并下载相关检查点文件:

    mkdir checkpoints
    cd checkpoints
    

    下载以下文件:

确保所有检查点文件位于checkpoints目录下:

checkpoints/
|-- sam_vit_h_4b8939.pth
|-- depth_anything_v2_vitl.pth
|-- stable-video-diffusion-img2vid-xt/
|-- LeviTor/
    |-- random_states_0.pkl
    |-- scaler.pt
    |-- scheduler.bin
    |-- controlnet/
    |-- unet/
  1. 创建环境

    conda create -n LeviTor python=3.9 -y
    conda activate LeviTor
    
  2. 安装依赖包

    pip install -r requirements.txt
    
  3. 安装pytorch3d

    pip install "git+https://github.com/facebookresearch/pytorch3d.git"
    
  4. 安装gradio

    pip install gradio==4.36.1
    
  5. 运行LeviTor

    python gradio_demo/gradio_run.py \
    --frame_interval 1 \
    --num_frames 16 \
    --pretrained_model_name_or_path checkpoints/stable-video-diffusion-img2vid-xt \
    --resume_from_checkpoint checkpoints/LeviTor \
    --width 288 \
    --height 512 \
    --seed 217113 \
    --mixed_precision fp16 \
    --enable_xformers_memory_efficient_attention \
    --output_dir ./outputs \
    --gaussian_r 10 \
    --sam_path checkpoints/sam_vit_h_4b8939.pth \
    --depthanything_path checkpoints/depth_anything_v2_vitl.pth
    

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
10月前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
379 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
Web App开发 JavaScript Android开发
iOS SFSafariViewController 获取 Cookies
iOS SFSafariViewController 获取 Cookies
319 0
|
10月前
|
存储 人工智能 API
AgentScope:阿里开源多智能体低代码开发平台,支持一键导出源码、多种模型API和本地模型部署
AgentScope是阿里巴巴集团开源的多智能体开发平台,旨在帮助开发者轻松构建和部署多智能体应用。该平台提供分布式支持,内置多种模型API和本地模型部署选项,支持多模态数据处理。
3975 77
AgentScope:阿里开源多智能体低代码开发平台,支持一键导出源码、多种模型API和本地模型部署
|
10月前
|
机器学习/深度学习 人工智能 编解码
CLEAR:新加坡国立大学推出线性注意力机制,使8K图像的生成速度提升6.3倍,显著减少了计算量和时间延迟
新加坡国立大学推出的CLEAR线性注意力机制,通过局部注意力窗口设计,显著提升了预训练扩散变换器生成高分辨率图像的效率,生成8K图像时提速6.3倍。
215 18
CLEAR:新加坡国立大学推出线性注意力机制,使8K图像的生成速度提升6.3倍,显著减少了计算量和时间延迟
|
8月前
|
数据采集 机器学习/深度学习 人工智能
Sitcom-Crafter:动画师失业警告!AI黑科技自动生成3D角色动作,剧情脚本秒变动画
Sitcom-Crafter 是一款基于剧情驱动的 3D 动作生成系统,通过多模块协同工作,支持人类行走、场景交互和多人交互,适用于动画、游戏及虚拟现实等领域。
345 4
|
11月前
|
人工智能 自然语言处理 人机交互
MagicQuill:4天斩获千颗 Star,登上Huggingface趋势榜榜首的AI P图神器
MagicQuill通过结合编辑处理器、绘画助手和创意收集器三大功能,解决了图片精准、高效编辑的难题,用户可以通过三种简单的魔法画笔(添加、删除和上色)来编辑图片。
MagicQuill:4天斩获千颗 Star,登上Huggingface趋势榜榜首的AI P图神器
|
编解码 机器人
可控高清视频生成: CogVideoX+DiffSynth-Studio = “配置拉满”
不久前,CogVideoX 开源了 5B 版本的文生视频模型。开源项目 DiffSynth-Studio 为 CogVideoX 提供了更强大的功能支持。我们一起来看一下,在DiffSynth-Studio 的加持下,“配置拉满”的 CogVideoX 有多强!
可控高清视频生成: CogVideoX+DiffSynth-Studio = “配置拉满”
|
数据采集 机器学习/深度学习 人工智能
|
Web App开发 JavaScript 前端开发
浏览器推荐:从技术与体验角度的深入探讨
浏览器推荐:从技术与体验角度的深入探讨
565 0
|
数据可视化 搜索推荐 前端开发
编码如画,以梦驭马——CodeWave低代码平台全侧写
编码如画,以梦驭马——CodeWave低代码平台全侧写
427 0

热门文章

最新文章