高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇

通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇


本文将手把手教你分别在魔搭免费GPU算力环境、本地环境部署运行ComfyUI工作流,玩转Wan2.1文生视频、图生视频案例实践。


01.魔搭Notebook运行ComfyUI文生视频工作流

step1  如何在魔搭中启动Notebook

1、打开ModelScope 魔搭社区首页,点击我的Notebook

image.png


2、魔搭社区免费提供的GPU免费算力上体验,选择方式二启动后点击查看Notebook

  image.png

image.png

step2  安装ComfyUI及其依赖

1、打开Notebook终端

在页面中选择Terminal

image.png

2、克隆ComfyUI仓库

在Notebook终端中运行如下命令,将官方的ComfyUI的仓库克隆下来:

git clone https://github.com/comfyanonymous/ComfyUI.git

image.png



克隆过程中可能遇到这个报错,提示“RPC失败”:

image.png



这是因为http协议版本的问题导致网络连接失败,版本降低至1.1即可解决。命令如下:

git config --global http.version HTTP/1.1
  git clone https://github.com/comfyanonymous/ComfyUI.git
  git config --global http.version HTTP/2



完成的界面像这样:

image.png



3、安装依赖

使用pip安装运行ComfyUI服务所需的环境依赖:

cd ComfyUI
pip install -r requirements.txt



4、验证安装

运行以下命令启动ComfyUI服务,测试是否成功安装。

python main.py



如果服务成功启动,将在终端中看到http://127.0.0.1:8188的提示

image.png

点击这个链接就可以进入comfyui的界面啦!



step3  文生视频工作流

以通义万相wan2.1-t2v-1.3b文生视频模型为例,演示如何运行工作流。



1、下载模型

wan2.1-t2v-1.3b文生视频模型包含3个组件,文本编码器、扩散模型和视频解码器。我们需要从魔搭模型库中下载3个组件对应的模型文件,并将这些模型文件放置到对应文件夹:


  • 文本编码器:
  • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 扩散模型
  • split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器
  • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae



命令行如下:

# 文本编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/
# 扩散模型
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors --local_dir ./models/diffusion_models/
# 视频解码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

image.png

点击http://127.0.0.1:8188链接进入comfyui的界面

image.png

3、运行文生视频工作流

ComfyUI启动后会自动打开一个默认的工作流,可以不用管它。我们需要下载wan2.1的示例工作流文件,然后将文件拖入ComfyUI界面。


wan2.1的示例工作流文件:

https://modelscope.cn/notebook/share/ipynb/5eee8a46/text_to_video_wan.ipynb


拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。


image.png

视频生成完成之后的页面:

image.png



4、运行日志查看

终端界面上可以查看实时运行的日志:

image.png



nvidia-smi命令可以查看显存占用:

image.png

02.本地搭建ComfyUI图生视频工作流

如果你自己拥有GPU,则可以选择在本地部署工作流。本节以通义万相wan2.1-i2v-14b的图生视频模型为例,教你一步步用命令行运行图生视频的工作流。

step1  检查显卡信息

要运行万相wan2.1-i2v-14b文生视频ComfyUI工作流,需要高规格的显卡。生成512*512大小的视频,显存大约需要44G;生成1280*720尺寸的视频,显存需要53GB。运行nvidia-smi命令,检查显卡是否符合要求。

image.png

step2  安装ComfyUI及其依赖

此步骤同上,请查阅上一节step2。

step3  图生视频工作流

1、模型下载

wan2.1-i2v-1.3b文生视频模型包含4个组件,图片编码器、文本编码器、视频扩散模型和视频解码器。我们需要从魔搭模型库中下载4个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

  • 图片编码器
  • split_files/clip_vision/clip_vision_h.safetensors →ComfyUI/models/clip_vision
  • 文本编码器
  • split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders
  • 视频扩散模型
  • split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors → ComfyUI/models/diffusion_models
  • 视频解码器
  • split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae


命令行如下:

# 图片编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/clip_vision/clip_vision_h.safetensors --local_dir ./models/clip_vision/
# 文本编码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/
# 视频扩散模型
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors --local_dir ./models/diffusion_models/
# 视频解码器
modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

2、启动comfyui

运行以下命令启动ComfyUI服务:

python main.py

image.png

点击http://127.0.0.1:8188链接就可以进入comfyui的界面


3、上传工作流运行

下载wan2.1的图生视频示例工作流文件,然后将文件拖入ComfyUI界面。


wan2.1的示例工作流文件:

https://modelscope.cn/notebook/share/ipynb/0e5bbc8b/image_to_video_wan_example.ipynb


拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。

image.png


目录
相关文章
|
11天前
|
物联网 异构计算
高效部署通义万相Wan2.1:使用Gradio搭建WebUI体验实战
随着通义万相Wan2.1 在社区的热度持续上涨,魔搭创空间的体验Demo(https://modelscope.cn/studios/Wan-AI/Wan-2.1)已经排起长队。
426 12
|
11天前
|
人工智能 运维 自然语言处理
通义灵码 AI实战《手把手教你用通义灵码写一个音乐电子小闹钟》
通义灵码DeepSeek版本相比qwen2.5,增强了深度思考和上下文理解能力,显著提升了开发效率,尤其适合代码能力较弱的运维人员,真正实现了“代码即服务”。
111 1
|
15天前
|
人工智能 自然语言处理 程序员
通义灵码×DeepSeek 实战:打造一款小游戏,分享给朋友玩
通义灵码×DeepSeek 实战:打造一款小游戏,分享给朋友玩
|
17天前
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
2025年1月,阿里通义万相Wan2.1模型登顶Vbench榜首第一,超越Sora、HunyuanVideo、Minimax、Luma、Gen3、Pika等国内外视频生成模型。而在今天,万相Wan2.1视频生成大模型正式开源!
1413 8
|
20天前
|
人工智能 编解码 算法
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
本文介绍了通义灵码2.0 AI程序员在嵌入式开发中的实战应用。通过安装VS Code插件并登录阿里云账号,用户可切换至DeepSeek V3模型,利用其强大的代码生成能力。实战案例中,AI程序员根据自然语言描述快速生成了C语言的base64编解码算法,包括源代码、头文件、测试代码和CMake编译脚本。即使在编译错误和需求迭代的情况下,AI程序员也能迅速分析问题并修复代码,最终成功实现功能。作者认为,通义灵码2.0显著提升了开发效率,打破了编程语言限制,是AI编程从辅助工具向工程级协同开发转变的重要标志,值得开发者广泛使用。
7909 68
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
|
25天前
|
SQL 人工智能 Java
放弃单一模型!通义灵码多模型混搭调参实战 - 实测Qwen2.5代码通过率提升27%
本报告展示了模型性能压测结果,使用Python脚本对多个AI模型(如DeepSeek-R1、Qwen2.5-72B、DeepSeek-V3)进行测试。任务包括代码补全、SQL生成和测试用例生成,记录响应时间及Tokens消耗,并统计代码通过率。结果显示,各模型在不同任务上的表现有所差异,Qwen2.5-72B在代码补全任务中表现出色,平均响应时间为3.8秒,代码通过率达95%。
158 4
|
4天前
|
人工智能 自然语言处理 IDE
通义灵码 2.0 评测:AI 赋能编程,开启高效研发新旅程
通义灵码2.0通过AI赋能编程,显著提升开发效率与代码质量。安装便捷,支持自然语言描述需求自动生成高质量代码框架及注释,大幅简化新功能开发流程。其单元测试Agent能快速生成全面测试用例,覆盖更多边界情况。相比1.0版本,2.0在智能问答和代码生成速度上均有显著提升,为开发者带来高效研发新体验。
61 6
|
5天前
|
设计模式 人工智能 前端开发
通义灵码2.0 AI 程序员体验官招募活动---通义灵码评测
在大模型不断更新迭代的当下,众多大厂纷纷推出自家的 AI 编码助手。其中,阿里云的通义灵码堪称市场上最为成熟的产品之一,紧随其后的则是腾讯的 AI 助手。在近期实际项目开发过程中,我使用了通义灵码助手,其最新版本展现出了令人惊叹的强大性能。在一些模块编码任务上,通义灵码表现尤为出色,生成的代码在命名规范性、易扩展性以及易读性方面,甚至超越了大多数普通程序员。通义灵码在生成代码时,不仅会考量设计模式,遵循重构原则,还具备强大的 bug 检测与修复能力,在单元测试方面同样表现优异。接下来,本文将通过一个小游戏的实例,对通义灵码的各项功能展开测试。
25 1
通义灵码2.0 AI 程序员体验官招募活动---通义灵码评测
|
8天前
|
人工智能 IDE Java
寻找通义灵码 AI 程序员 {头号玩家} ,体验 QwQ-Plus、DeepSeek 满血版的通义灵码
通义灵码联合 CHERRY 中国全网发起寻找 AI 程序员 {头号玩家},体验全新模型加持下的 AI 程序员的智能编码新功能,体验图生代码 Agent、单元测试 Agent 、跨语言编程等 AI 程序员能力,赢取通义灵码 X CHERRY 联名定制个人签名款机械键盘 、CHERRY MX8.3 旗舰级机械键盘、CHERRY 无线双模鼠标、码力全开蛇皮袋等奖品!
|
8天前
|
人工智能 自然语言处理 程序员
用通义灵码开发一个Python时钟:手把手体验AI程序员加持下的智能编码
通义灵码是基于通义大模型的AI研发辅助工具,提供代码智能生成、研发问答、多文件修改等功能,帮助开发者提高编码效率。本文通过手把手教程,使用通义灵码开发一个简单的Python时钟程序,展示其高效、智能的编码体验。从环境准备到代码优化,通义灵码显著降低了开发门槛,提升了开发效率,适合新手和资深开发者。最终,你将体验到AI加持下的便捷与强大功能。

热门文章

最新文章