【奶奶看了都会】ComfyUI+SVD制作AI视频教程,附效果演示

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,视频资源包5000点
NLP 自学习平台,3个模型定制额度 1个月
简介: AI一天,人间一年。大家好啊,我是小卷,最近AI绘画又发展出一些新玩意了,小卷因为工作的关系有一个月没关注AI的发展了,都有点跟不上版本节奏了。。。

AI一天,人间一年

大家好啊,我是小卷,最近AI绘画又发展出一些新玩意了,小卷因为工作的关系有一个月没关注AI的发展了,都有点跟不上版本节奏了。。。

1.comfyui的使用效果

今天给大家介绍下AI绘画新的工具:ComfyUI。和Stable Diffusion Webui类似的,支持文生图,图生图的基本操作,不同的是comfyui是工作流式的操作,这里没有了解sd-webui也不要紧,我们用comfyui+SVD进行AI绘画,以及生成动态视频

comfyui的开源地址:ComfyUI

还是老规矩,先看视频效果:

  • 原始图片

1_1.png

  • 生成的视频效果图,这里用GIF图片查看

1_2.gif

2.云端部署步骤

本地部署会存在各种问题,这里教大家用云端服务器进行部署,只需要3分钟就能完成comfyui的搭建,很快就能用上哦~

平台推荐:揽睿星舟

注册的邀请码:4104

通过邀请码注册会有2小时算力领取,完全够新手入门玩哦~

2.1创建工作空间

和之前教大家部署SD不同,这次需要用到4090显卡。

在工作空间页面选择B4区,实例选择4090单卡,镜像选择应用镜像/comfyui-journey/v1.0.3,挂载网盘,数据集选择sd-base,然后点击创建即可。如下图:

1_3.png

2.2配置学术加速

实例创建完成后,在工作空间界面进入Jupyter页面,如图:

1_4.png

然后新建一个终端,并执行以下命令:

  • 先使用学术加速
export http_proxy=http://192.101.1.254:10800 && export https_proxy=http://192.101.1.254:10800
  • 进入Comfyui目录
cd ComfyUI-master/

1_5.png

2.4配置模型地址

我们在创建工作空间的时候已经选择sd-base的数据集,这里只需要改下Comfyui加在模型的path就行了,修改步骤往下看:

  • 在ComfyUI目录下,找到extra_model_paths.yaml.example文件,重命名为extra_model_paths.yaml
  • 修改文件内的base_path参数,修改为模型目录的绝对地址,这里因为我们已经选了sd-base的数据集,所以用/home/user/imported_datasets/sd-base,修改内容如下图:

1_6.png

2.5 启动ComfyUI

到这步,准备工作都完成了,在ComfyUI目录下执行下面这条命令,启动ComfyUI,并将服务映射到工作空间的27777端口

python3 main.py --port 27777 --listen 0.0.0.0

启动完成后,到工作空间复制调试地址,到浏览器打开,就能看着ComfyUI的使用界面了。

1_7.png

默认工作流可生成一张水瓶的图片,大家可以点击Queue Prompt试试

1_8.png

4.安装SVD插件

Comfyui操作界面上点击Manager,然后点击弹出菜单里的Install Custom Nodes,接着搜索svd

选择ComfyUI-SVD进行安装,操作过程如图:

0_2.png

0_3.png

等待几分钟安装完成后需要重启,点击界面上出现的Restart按钮重启即可

4.1安装svd大模型

我们接着安装svd的大模型,点击Manager,然后点击Install Models,在弹出的窗口中搜索svd,根据自己的显卡性能选择14帧或者25帧的模型,这里我们因为用的4090显卡,所以选25帧的安装,如图:

0_4.png

安装过程比较长,等待10分钟左右可安装完成

可以在终端查看模型下载进度:

0_4_1.png

4.2导入图片转视频工作流

我们从comfyui官方GIthub上下载工作流文件进行导入,或者直接用拖拽的形式把图片拖到ComfyUI里就自动导入,如图操作:

Comfyui地址:https://comfyanonymous.github.io/ComfyUI_examples/video/

0_5.png

5 图片转视频操作

我们选择一张图片上传,然后选中svd_xt的大模型,参数值默认就行,点击Queue Prompt执行,等待几秒钟就可以看到结果了,默认工作流生成的视频是webp格式,可以用在线网站进行转换为Gif,然后再转MP4

在线网站:https://webpconverter.com/zh/webp-to-gif

操作步骤如图:

0_6.png

最后把生成的多段视频用剪辑工具拼接起来,就得到文章开头的视频效果啦~

6.总结

ComfyUI是通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。但节点式的工作流也提高了一部分使用门槛。

最后,小卷想说的是工具的使用是提效的手段,不论用什么工具,最后生成的效果满意就行。就像做视频,手机、单反、运动相机都能拍,能不能拍出精彩的视频还是需要创作者的内功哦~

相关文章
|
2月前
|
人工智能 Serverless API
AI 创业及变现新思路:零门槛 AI 绘图,定制 ComfyUI Serverless API 应用
为了帮助用户高效率、低成本应对企业级复杂场景,本文介绍 ComfyUI API Serverless 版解决方案,通过使用该方案,用户可以充分利用 ComfyUI +Serverless 技术优势快速开发上线 AI 绘画应用,期待为广大开发者 AI 绘画创业及变现提供思路。
|
4月前
|
人工智能 Serverless 开发者
“黏土风格”创意AI函数计算FC部署 ComfyUI实现AI生图
使用阿里云函数计算FC,快速部署AI绘画工具ComfyUI,参与黏土创意AI活动,体验高质量图像生成并有机会赢取丰厚礼品。
754 16
“黏土风格”创意AI函数计算FC部署 ComfyUI实现AI生图
|
5月前
|
人工智能 Serverless 文件存储
“黏土风格”轻松拿捏,基于函数计算部署 ComfyUI实现AI生图
使用阿里云函数计算FC,快速部署AI绘画工具ComfyUI,体验高质量图像生成。新用户可享180元试用额度,包括GPU、vCPU、内存和调用次数。开通FC和文件存储NAS,通过应用中心选择ComfyUI模板创建应用。
47386 8
“黏土风格”轻松拿捏,基于函数计算部署 ComfyUI实现AI生图
|
4月前
|
人工智能 JSON Serverless
AI “黏土画风”轻松拿捏,手把手带你云端部署 ComfyUI
ComfyUI 是一款基于节点工作流稳定扩散算法的全新 WebUI,相对于传统的 WebUI,ComfyUI 的部署和学习曲线较陡峭,函数计算基于 Serverless 应用中心开发“ComfyUI 应用模版”,简化开发者的部署流程,帮助简单、快捷实现全新而精致的绘画体验,点击本文查看一键部署 ComfyUI 的方法。
16519 6
|
4月前
|
人工智能 中间件 Serverless
基于函数计算FC 部署 ComfyUI实现AI生图 的优势
【6月更文挑战第17天】基于函数计算FC 部署 ComfyUI实现AI生图 的优势
基于函数计算FC 部署 ComfyUI实现AI生图 的优势
|
9天前
|
机器学习/深度学习 数据采集 人工智能
探索AI技术在文本生成中的应用与挑战
【9月更文挑战第26天】本文深入探讨了AI技术在文本生成领域的应用,并分析了其面临的挑战。通过介绍AI文本生成的基本原理、应用场景以及未来发展趋势,帮助读者全面了解该技术的潜力和局限性。同时,文章还提供了代码示例,展示了如何使用Python和相关库实现简单的文本生成模型。
34 9
|
3天前
|
人工智能 自然语言处理 搜索推荐
AI技术在智能客服系统中的应用与挑战
【9月更文挑战第32天】本文将探讨AI技术在智能客服系统中的应用及其面临的挑战。我们将分析AI技术如何改变传统客服模式,提高服务质量和效率,并讨论在实际应用中可能遇到的问题和解决方案。
93 65
|
5天前
|
机器学习/深度学习 人工智能 供应链
精准农业:AI在农业生产中的应用
【10月更文挑战第1天】随着科技的发展,人工智能(AI)逐渐渗透到农业领域,通过精准监控和管理提升了农业生产效率和质量。AI在精准农业中的应用包括:精准农田管理,如个性化灌溉和施肥;作物病虫害识别与预测,及时发现并预防病虫害;智能农机自动化作业,提高作业效率;农产品质量检测与分类,确保品质;农业供应链优化,预测需求和价格。尽管面临数据收集、技术接受度等挑战,AI在精准农业中的未来前景广阔,有望实现全程自动化作业、数据驱动决策及智能预警系统,推动农业可持续发展。
27 11
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI技术:从基础原理到实际应用的全面剖析
本文旨在为读者提供关于人工智能(AI)技术的全面了解。从探讨AI的基本概念和关键技术入手,逐步深入到AI在不同领域的应用实例,包括医疗、金融和自动驾驶等。同时,文章也详细讨论了当前AI技术面临的伦理问题和社会影响,以及可能的解决方案。最后,本文还展望了AI技术未来的发展趋势,帮助读者更好地理解这一前沿科技的现状与未来。
|
3天前
|
机器学习/深度学习 人工智能 监控
AI与未来医疗:重塑健康产业的双刃剑随着科技的迅猛发展,人工智能(AI)正以前所未有的速度融入各行各业,其中医疗领域作为关系到人类生命健康的重要行业,自然也成为AI应用的焦点之一。本文将探讨AI在未来医疗中的潜力与挑战,分析其对健康产业可能带来的革命性变化。
在医疗领域,人工智能不仅仅是一种技术革新,更是一场关乎生死存亡的革命。从诊断到治疗,从后台数据分析到前端临床应用,AI正在全方位地改变传统医疗模式。然而,任何技术的发展都有其两面性,AI也不例外。本文通过深入分析,揭示AI在医疗领域的巨大潜力及其潜在风险,帮助读者更好地理解这一前沿技术对未来健康产业的影响。
下一篇
无影云桌面