Fooocus:一个简单且功能强大的Stable Diffusion webUI

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: Stable Diffusion是一个强大的图像生成AI模型,但它通常需要大量调整和提示工程。Fooocus的目标是改变这种状况。

Stable Diffusion是一个强大的图像生成AI模型,但它通常需要大量调整和提示工程。Fooocus的目标是改变这种状况。

Fooocus的创始人Lvmin Zhang(也是 ControlNet论文的作者)将这个项目描述为对“Stable Diffusion”和“ Midjourney”设计的重新设计。Fooocus就像是Midjourney的免费离线版本,但是它使用SDXL模型。或者说它将Stable Diffusion的出图过程做了非常好的优化,没有那么多繁琐的配置。

Fooocus内置和自动化了许多优化和质量改进,将其他页面的手动设置变为了自动配置,这样就和Midjourney一样,这将在每次尝试中获得良好的结果。如果你想做更多,你可以使用Fooocus的Advanced选项卡。比如说设置清晰度过滤器或自定义lora。

在这篇文章中,我们将介绍如何在本地和Colab上使用Fooocus

在Windows上运行

只需要在下载文件,解压缩,然后运行run.bat,就是这么简单

在第一次运行时,它会自动下载模型,如果你已经有这些文件,你可以把它们复制到上面的位置,以加快安装速度。

  • sd_xl_base_1.0_0.9vae.safetensors
  • sd_xl_refiner_1.0_0.9vae.safetensors

Fooocus可以在16gb RAM和6GB VRAM的系统上运行,性能非常好,下面图片来自的Github。

最低要求是4GB Nvidia GPU内存(4GB VRAM)和8GB系统内存(8GB RAM)。

在Linux上运行

Linux上会更加简单:

 git clone https://github.com/lllyasviel/Fooocus.git
 cd Fooocus
 conda env create -f environment.yaml
 conda activate fooocus
 pip install -r requirements_versions.txt

与Windows类似下载模型以加快过程,但是他的启动命令变为:

 python launch.py

或者如果想打开远程端口,需要使用listen参数

 python launch.py --listen

在Google Colab上运行

因为需要使用GPU,所以我们这里选择T4 GPU,因为它已经够用了

然后使用下面命令,由于下载和安装,该操作可能需要一些时间才能完成,但是Colab的下载速度很快,我们不需要传输模型了

 %cd /content
 !git clone https://github.com/lllyasviel/Fooocus

 !apt -y update -qq
 !wget https://github.com/camenduru/gperftools/releases/download/v1.0/libtcmalloc_minimal.so.4 -O /content/libtcmalloc_minimal.so.4
 %env LD_PRELOAD=/content/libtcmalloc_minimal.so.4

 !pip install torchsde==0.2.5 einops==0.4.1 transformers==4.30.2 safetensors==0.3.1 accelerate==0.21.0
 !pip install pytorch_lightning==1.9.4 omegaconf==2.2.3 gradio==3.39.0 xformers==0.0.20 triton==2.0.0 pygit2==1.12.2

 !apt -y install -qq aria2
 !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_base_1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_base_1.0_0.9vae.safetensors
 !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_refiner_1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_refiner_1.0_0.9vae.safetensors
 !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors -d /content/Fooocus/models/loras -o sd_xl_offset_example-lora_1.0.safetensors

 %cd /content/Fooocus
 !git pull
 !python launch.py --share

当它完成时,会看到一个连接,类似下图

点击右边的gradio.live链接,就可以看到界面了,如果要进行高级设置,可以在advanced 选项中看到更多的高级设置

总结

Fooocus的操作要比AUTOMATIC1111方便很多,并且安装也简单,看看我生成的结果

最后Github更详细信息可以看这里

https://avoid.overfit.cn/post/7428cf29b9bd438e9948178252bf9ee5

目录
相关文章
|
人工智能 计算机视觉 开发者
阿里Replace Anything:一键替换万物,让图像编辑更简单
【2月更文挑战第17天】阿里Replace Anything:一键替换万物,让图像编辑更简单
1099 1
阿里Replace Anything:一键替换万物,让图像编辑更简单
|
机器学习/深度学习 编解码 人工智能
阿里云Stable Diffusion操作教程
阿里云Stable Diffusion操作教程
|
移动开发 程序员 Android开发
寒冬之下,移动开发没人要了, iOS 开发者该 何去何从?
前言: 作者 | 梅梅    文章来源 CSDN 对于移动互联网而言,2018 年像是球场上的一声裁判哨。哨声响起,高潮迭起的上半场结束。本该再创辉煌的下半场,还没开赛却被告之:规则改变、场地收缩、教练下课、冷板凳无限加长。
|
2月前
|
人工智能 自然语言处理 vr&ar
通义首个音频生成模型 ThinkSound 开源,你的专业音效师
通义实验室推出首个音频生成模型ThinkSound,突破传统视频到音频生成技术局限,首次将思维链(CoT)应用于音频生成领域,实现高保真、强同步的空间音频生成。基于自研AudioCoT数据集,结合多模态大语言模型与统一音频生成模型,支持交互式编辑,显著提升音画匹配度与时序一致性。代码已开源,助力游戏、VR、AR等场景创新应用。
786 3
|
11月前
|
存储 自然语言处理 物联网
StableDiffusion-02 LoRA上手使用实测 尝试生成图片 使用多个LoRA 调整LoRA效果 10分钟上手 多图
StableDiffusion-02 LoRA上手使用实测 尝试生成图片 使用多个LoRA 调整LoRA效果 10分钟上手 多图
312 1
|
8月前
|
人工智能 编解码
CogVideoX-Flash:智谱首个免费AI视频生成模型,支持文生视频、图生视频,分辨率最高可达4K
CogVideoX-Flash 是智谱推出的首个免费AI视频生成模型,支持文生视频、图生视频,最高支持4K分辨率,广泛应用于内容创作、教育、广告等领域。
803 5
CogVideoX-Flash:智谱首个免费AI视频生成模型,支持文生视频、图生视频,分辨率最高可达4K
|
10月前
|
SQL 监控 物联网
ClickHouse在物联网(IoT)中的应用:实时监控与分析
【10月更文挑战第27天】随着物联网(IoT)技术的快速发展,越来越多的设备被连接到互联网上,产生了海量的数据。这些数据不仅包含了设备的状态信息,还包括用户的使用习惯、环境参数等。如何高效地处理和分析这些数据,成为了一个重要的挑战。作为一位数据工程师,我在一个物联网项目中深入使用了ClickHouse,以下是我的经验和思考。
566 0
|
机器学习/深度学习 数据采集 算法
Python实现PCA降维和KNN人脸识别模型(PCA和KNeighborsClassifier算法)项目实战
Python实现PCA降维和KNN人脸识别模型(PCA和KNeighborsClassifier算法)项目实战
|
Python 容器
使用flet创建todo应用
使用flet创建todo应用
168 2
|
机器学习/深度学习 人工智能 算法
人工智能的伦理困境与技术挑战
在AI技术的迅猛发展中,伦理问题和技术性挑战日益凸显。本文将深入探讨AI伦理问题的多维度挑战,包括数据隐私、算法偏见和自动化失业等,并分析当前AI技术面临的主要技术性挑战,如可解释性、安全性和通用智能的实现问题。通过引用权威研究和统计数据,本文旨在为读者提供一个关于AI伦理和技术挑战的全面视角,促进对AI未来发展的深入思考。
332 31