高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇

通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇


本文将手把手教你分别在魔搭免费GPU算力环境、本地环境部署运行ComfyUI工作流,玩转Wan2.1文生视频、图生视频案例实践。


01.魔搭Notebook运行ComfyUI文生视频工作流

step1  如何在魔搭中启动Notebook

1、打开ModelScope 魔搭社区首页,点击我的Notebook

image.png


2、魔搭社区免费提供的GPU免费算力上体验,选择方式二启动后点击查看Notebook

  image.png

image.png

step2  安装ComfyUI及其依赖

1、打开Notebook终端

在页面中选择Terminal

image.png

2、克隆ComfyUI仓库

在Notebook终端中运行如下命令,将官方的ComfyUI的仓库克隆下来:

git clone https://github.com/comfyanonymous/ComfyUI.git

image.png



克隆过程中可能遇到这个报错,提示“RPC失败”:

image.png



这是因为http协议版本的问题导致网络连接失败,版本降低至1.1即可解决。命令如下:

git config --global http.version HTTP/1.1
  git clone https://github.com/comfyanonymous/ComfyUI.git
  git config --global http.version HTTP/2



完成的界面像这样:

image.png



3、安装依赖

使用pip安装运行ComfyUI服务所需的环境依赖:

cd ComfyUI
pip install -r requirements.txt



4、验证安装

运行以下命令启动ComfyUI服务,测试是否成功安装。

python main.py



如果服务成功启动,将在终端中看到http://127.0.0.1:8188的提示

image.png

点击这个链接就可以进入comfyui的界面啦!



step3  文生视频工作流

以通义万相wan2.1-t2v-1.3b文生视频模型为例,演示如何运行工作流。



1、下载模型

wan2.1-t2v-1.3b文生视频模型包含3个组件,文本编码器、扩散模型和视频解码器。我们需要从魔搭模型库中下载3个组件对应的模型文件,并将这些模型文件放置到对应文件夹:


  • 文本编码器:
  • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 扩散模型
  • split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器
  • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae



命令行如下:

# 文本编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/
# 扩散模型
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors --local_dir ./models/diffusion_models/
# 视频解码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

image.png

点击http://127.0.0.1:8188链接进入comfyui的界面

image.png

3、运行文生视频工作流

ComfyUI启动后会自动打开一个默认的工作流,可以不用管它。我们需要下载wan2.1的示例工作流文件,然后将文件拖入ComfyUI界面。


wan2.1的示例工作流文件:

https://modelscope.cn/notebook/share/ipynb/5eee8a46/text_to_video_wan.ipynb


拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。


image.png

视频生成完成之后的页面:

image.png



4、运行日志查看

终端界面上可以查看实时运行的日志:

image.png



nvidia-smi命令可以查看显存占用:

image.png

02.本地搭建ComfyUI图生视频工作流

如果你自己拥有GPU,则可以选择在本地部署工作流。本节以通义万相wan2.1-i2v-14b的图生视频模型为例,教你一步步用命令行运行图生视频的工作流。

step1  检查显卡信息

要运行万相wan2.1-i2v-14b文生视频ComfyUI工作流,需要高规格的显卡。生成512*512大小的视频,显存大约需要44G;生成1280*720尺寸的视频,显存需要53GB。运行nvidia-smi命令,检查显卡是否符合要求。

image.png

step2  安装ComfyUI及其依赖

此步骤同上,请查阅上一节step2。

step3  图生视频工作流

1、模型下载

wan2.1-i2v-1.3b文生视频模型包含4个组件,图片编码器、文本编码器、视频扩散模型和视频解码器。我们需要从魔搭模型库中下载4个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

  • 图片编码器
  • split_files/clip_vision/clip_vision_h.safetensors →ComfyUI/models/clip_vision
  • 文本编码器
  • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 视频扩散模型
  • split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器
  • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae


命令行如下:

# 图片编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/clip_vision/clip_vision_h.safetensors --local_dir ./models/clip_vision/
# 文本编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/
# 视频扩散模型
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors --local_dir ./models/diffusion_models/
# 视频解码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

image.png

点击http://127.0.0.1:8188链接就可以进入comfyui的界面


3、上传工作流运行

下载wan2.1的图生视频示例工作流文件,然后将文件拖入ComfyUI界面。


wan2.1的示例工作流文件:

https://modelscope.cn/notebook/share/ipynb/0e5bbc8b/image_to_video_wan_example.ipynb


拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。

image.png


目录
相关文章
|
20天前
|
存储 编解码 监控
针对3-15分钟视频的抽帧策略:让Qwen2.5 VL 32B理解视频内容
针对3-15分钟视频,提出高效抽帧策略:通过每5-10秒定间隔或关键帧检测方法,提取30-100帧关键图像,结合时间均匀采样与运动变化捕捉,降低冗余,提升Qwen2.5 VL 32B对视频内容的理解效率与准确性。
|
19天前
|
人工智能 自然语言处理 API
快速集成GPT-4o:下一代多模态AI实战指南
快速集成GPT-4o:下一代多模态AI实战指南
214 101
|
2月前
|
物联网
直播预告 | Qwen-lmage 技术分享+实战攻略直播
通义千问团队最新开源的图像生成模型 Qwen-Image,凭借其出色的中文理解与文本渲染能力,自发布以来获得了广泛关注与好评。
142 0
|
2月前
智谱发布GLM-4.5V,全球开源多模态推理新标杆,Day0推理微调实战教程到!
视觉语言大模型(VLM)已经成为智能系统的关键基石。随着真实世界的智能任务越来越复杂,VLM模型也亟需在基本的多模态感知之外,逐渐增强复杂任务中的推理能力,提升自身的准确性、全面性和智能化程度,使得复杂问题解决、长上下文理解、多模态智能体等智能任务成为可能。
424 0
|
3月前
|
人工智能 弹性计算 API
再不玩通义 VACE 模型你就过时了!一个模型搞定所有视频任务
介绍通义的开源模型在 ecs 或 acs 场景如何一键部署和使用,如何解决不同视频生成场景的问题。
|
3月前
|
存储 设计模式 人工智能
AI Agent安全架构实战:基于LangGraph的Human-in-the-Loop系统设计​
本文深入解析Human-in-the-Loop(HIL)架构在AI Agent中的核心应用,探讨其在高风险场景下的断点控制、状态恢复与安全管控机制,并结合LangGraph的创新设计与金融交易实战案例,展示如何实现效率与安全的平衡。
431 0
|
3月前
|
人工智能 弹性计算 JSON
再不玩通义VACE模型你就过时了!一个模型搞定所有视频任务
阿里巴巴开源通义万相Wan2.1-VACE,业界功能最全的视频生成与编辑模型,支持文生视频、图像参考生成、视频重绘、局部编辑、背景延展等,统一模型实现多任务自由组合,轻量版本消费级显卡即可运行。
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
184 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
19天前
|
机器学习/深度学习 算法 数据可视化
从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南
推理型大语言模型兴起,通过先思考再作答提升性能。本文介绍GRPO等强化学习算法,详解其原理并动手用Qwen2.5-3B训练推理模型,展示训练前后效果对比,揭示思维链生成的实现路径。
165 1
从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南

热门文章

最新文章