❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
🎨 “手绘草图秒变动画！浙大VidSketch让视频创作零门槛，设计师狂喜！”
大家好，我是蚝油菜花。你是否也遇到过——
- 👉 想做个创意视频，却被复杂的软件劝退
- 👉 手绘草图无法直接转化为动画，创意难以落地
- 👉 视频帧间不连贯，动画效果总是不尽如人意...
今天揭秘的 VidSketch，是浙江大学 CAD&CG 国家重点实验室推出的创新视频生成框架。它通过手绘草图和简单文本提示，就能生成高质量、时空连贯的视频动画。无论是新手还是专业设计师，都能轻松上手，快速实现创意构思。接下来，我们将深入解析它的核心功能和技术原理，带你体验视频创作的全新方式！
🚀 快速阅读
VidSketch 是一款基于手绘草图和文本提示生成高质量视频动画的创新框架。
- 核心功能：支持从手绘草图和文本生成高质量视频，适应不同绘画技能，增强时空一致性。
- 技术原理：基于扩散模型的视频生成，引入层级草图控制策略和时空注意力机制，确保视频连贯性。
VidSketch 是什么
VidSketch 是浙江大学 CAD&CG 国家重点实验室和软件学院推出的创新视频生成框架。它通过手绘草图和简单文本提示，生成高质量的视频动画，极大地降低了视频创作的技术门槛。
VidSketch 的核心创新在于其“层级草图控制策略”和“时空注意力机制”。前者动态调整草图的引导强度，适应不同绘画技能的用户；后者增强视频的时空一致性，解决帧间连贯性问题。无论是新手还是专业用户，都能轻松实现高质量动画创作。
VidSketch 的主要功能
- 高质量视频动画生成：支持从手绘草图和简单文本描述中生成高质量、时空连贯的视频动画。
- 适应不同绘画技能：自动评估草图的抽象程度，动态调整生成过程中的引导强度，适应从新手到专业用户的绘画水平。
- 时空一致性增强：提升视频帧间的连贯性和流畅性，避免撕裂或闪烁问题。
- 多样化风格支持：支持多种视觉风格（如现实主义、奇幻风格、像素艺术等），满足不同用户的审美需求。
- 低门槛创作：无需专业视频编辑技能，普通用户轻松创作高质量的视频动画。
VidSketch 的技术原理
- 基于扩散模型的视频生成：用视频扩散模型（Video Diffusion Models, VDMs）作为基础框架，逐步去除噪声生成图像或视频，同时引入时空一致性控制。
- 层级草图控制策略：基于定量分析草图的连续性、连通性和纹理细节，评估草图的抽象程度，动态调整草图在生成过程中的引导强度。
- 时空注意力机制：引入时空注意力机制，增强视频帧间的时空一致性，避免生成的视频出现撕裂或闪烁。
- 草图与文本的协同引导：手绘草图和文本提示共同引导视频生成，草图提供视觉结构，文本提示提供语义信息，确保生成的视频符合草图的视觉布局和文本描述的内容。
如何运行 VidSketch
1. 环境准备
# 克隆仓库
git clone https://github.com/CSfufu/VidSketch.git
cd VidSketch
# 创建虚拟环境
conda create -n VidSketch python=3.8
conda activate VidSketch
# 安装依赖
pip install -r requirements.txt
2. 下载权重和数据
- 预训练权重：从
Google Drive下载预训练权重。 训练数据：从
Google Drive下载训练数据。预训练权重链接：https://drive.google.com/drive/folders/1OPGiS5hzGLo8j3FFP-p9aVFlox91dYvC?usp=drive_link
- 训练数据链接：https://drive.google.com/drive/folders/1OPGiS5hzGLo8j3FFP-p9aVFlox91dYvC?usp=drive_link
3. 训练
CUDA_VISIBLE_DEVICES=X python train_vidsketch.py --config configs/candle.yaml
4. 推理
CUDA_VISIBLE_DEVICES=X python inference.py --pretrain_weight stable-diffusion-v1-5/stable-diffusion-v1-5 -p "A candle burning quietly." --length 10 --image_path ./t2i_ske/candle --sketch_path ./sketch/candle --weight path_to_the_checkpoint
资源
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
