AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

在魔搭使用SD-WebUI，玩转AIGC！

2024-04-23 377
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
模型训练 PAI-DLC，100CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
简介： stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

引言

stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的转换以及其他图像处理任务。也可进行图像生成图像以及图像高分辨、重绘（inpainting）、编辑等工作。

stable-diffusion-webui为创作者们提供了友好且直观的操作界面，无需直接编写代码就能够利用丰富的模型进行创作。用户也可以通过简单的参数配置，比如调整生成图片的尺寸、采样方式和步数、选择不同的预训练模型、调整seed等，来定制和优化生成图像的效果。同时，该Web UI也支持用户进行个性化训练，即在一定条件下训练自己的模型。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

企业微信截图_17138385179444.png


更多信息，访问开源链接：

https://github.com/AUTOMATIC1111/stable-diffusion-webui

最佳实践

环境配置和安装：

  1. python 3.10及以上版本
  2. pytorch推荐2.0及以上版本
  3. 建议使用CUDA 11.8及以上

本文在魔搭社区免费提供的GPU免费算力上体验：

2e860469-c919-49e6-a75a-372c92a7bfdc[1].png

开发者也可以使用modelscope的官方镜像，在云端或自有的设备上体验。

GPU环境镜像(python3.10)：

registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

下载和部署stable-diffusion-webui

clone代码，并安装相关依赖：

%cd /mnt/workspace/
# 安装依赖和下载源码
!apt update
!apt install -y aria2
!pip install gradio==3.41.2
!pip install insightface
!pip install gdown
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

下载一些经典的文生图模型（包含SD基础模型，Lora，Controlnet等），并存放到models目录的相关子目录下。小伙伴们可以选择自己希望使用的模型并下载，如下代码注释了模型类型，并映射到了对应的存储文件夹。

# 基础模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-1/repo?Revision=master&FilePath=v2-1_768-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o v2-1_768-ema-pruned.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-base/repo?Revision=master&FilePath=512-base-ema.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o 512-base-ema.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.ckpt
# VAE模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.vae.pt
# clip模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git /mnt/workspace/stable-diffusion-webui/openai/clip-vit-large-patch14
# controlnet模型下载
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=canny-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o canny-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=depth-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o depth-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=hed-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o hed-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=openpose-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o openpose-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=scribble-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o scribble-sd21-safe.safetensors
# Embedding模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/negative.git /mnt/workspace/stable-diffusion-webui/embeddings/negative
# lora模型下载
!git clone https://www.modelscope.cn/sd_lora/embed_lora.git /mnt/workspace/stable-diffusion-webui/models/Lora/positive
# 放大模型（upscaler）下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/upscale/repo?Revision=master&FilePath=4x-UltraSharp.pth" -d /mnt/workspace/stable-diffusion-webui/models/ESRGAN -o 4x-UltraSharp.pth

本文涉及的模型链接：

基础模型：

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-1

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-base

https://modelscope.cn/models/AI-ModelScope/anything-v3.0

VAE模型：

https://modelscope.cn/models/AI-ModelScope/sd-vae-ft-mse-original

clip模型：

https://modelscope.cn/models/AI-ModelScope/clip-vit-large-patch14

Controlnet模型：

https://modelscope.cn/models/sd_lora/ControlNet

Embedding模型：

https://modelscope.cn/modelsAI-ModelScope/negative

lora模型：

https://modelscope.cn/modelsAI-ModelScope/sd_lora/embed_lora

放大模型：

https://modelscope.cn/models/AI-ModelScope/upscale

同时，魔搭社区还有丰富的基础模型，lora，视频生成模型，id相关的如facechain，instantid等，如果仅需要下载单个模型文件，在模型的主页，选择模型文件，单机需要下载的模型文件，右上角即可点击下载或复制下载链接。

image.png

运行sd-webui的前端gradio组件，拉起服务：

%cd stable-diffusion-webui
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --lowvram

切换模型，可以看到不同的生成效果：

Anything-V3.0

image.png

sd2.1

image.png

文章标签：
人工智能
物联网
异构计算
搜索推荐
存储
关键词：
魔搭AIGC
ModelScope运营小助手
目录
相关文章
aliyun5051007104-38990
|
4月前
|
数据采集 机器学习/深度学习 人工智能
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记
这段内容介绍了一个使用Stable Diffusion与LoRA技术创建定制化二次元图像生成模型的全流程。首先，通过安装必要的软件包如Data-Juicer和DiffSynth-Studio准备开发环境。接着，下载并处理二次元图像数据集，利用Data-Juicer进行数据清洗和筛选，确保图像质量和尺寸的一致性。随后，训练一个针对二次元风格优化的LoRA模型，并调整参数以控制模型复杂度。完成训练后，加载模型并通过精心设计的提示词（prompt）生成一系列高质量的二次元图像，展示模型对细节和艺术风格的理解与再现能力。整个过程展示了从数据准备到模型训练及结果生成的完整步骤，为定制化图像提供了方向。
aliyun5051007104-38990
173 2
魔搭ModelScope社区小助手
|
16天前
|
物联网
魔搭AIGC12月赛题公布&11月获奖作品出炉
魔搭社区LoRA创意挑战赛月度赛第二期来啦！
魔搭ModelScope社区小助手
39 6
阿里云新鲜事
|
3月前
|
人工智能 物联网 开发者
魔搭上线AIGC专区，为开发者提供一站式AI创作开发平台
魔搭上线AIGC专区，首批上架157个风格化大模型，专业文生图全免费～
阿里云新鲜事
142 16
aliyun5051007104-38990
|
4月前
|
数据采集 机器学习/深度学习 人工智能
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记
这段内容介绍了一个使用LoRA技术定制Stable Diffusion模型的工作流程。首先定义了提示词的结构，接着概述了LoRA作为轻量级微调方法的角色。ComfyUI作为一个图形化工具，简化了AI模型的配置与操作。示例脚本展示了如何通过Data-Juicer和DiffSynth-Studio进行数据准备、模型训练，并最终生成特定风格的二次元图像。通过不同的种子和提示词，生成了一系列具有一致风格但内容各异的高质量二次元角色图像。
aliyun5051007104-38990
145 1
橙少东
|
4月前
|
人工智能
DataWhale夏令营第四期魔搭- AIGC方向task01笔记
DataWhale夏令营，AIGC方向task1笔记。从平台注册到程序调试，最终生成一组古风小故事图片，并对其进行总结分析。
橙少东
207 0
DataWhale夏令营第四期魔搭- AIGC方向task01笔记
ModelScope运营小助手
|
7月前
|
存储 前端开发 物联网
在魔搭使用ComfyUI，玩转AIGC
ComfyUI是一个功能强大、模块化程度高的AIGC图形和视频生成的用户界面和后台。
ModelScope运营小助手
1936 6
打不哭
|
5月前
|
存储 自然语言处理 API
通义万相AIGC技术Web服务体验评测
随着人工智能技术的不断进步，图像生成技术已成为创意产业的一大助力。通义万相AIGC技术，作为阿里云推出的一项先进技术，旨在通过文本到图像、涂鸦转换、人像风格重塑及人物写真创建等功能，加速艺术家和设计师的创作流程。本文将详细评测这一技术的实际应用体验。
打不哭
200 4
效率时空
|
1月前
|
人工智能 自然语言处理 数据可视化
什么是AIGC？如何使用AIGC技术辅助办公?
2分钟了解AIGC技术及其如何提高日常办公效率!
效率时空
77 4
什么是AIGC？如何使用AIGC技术辅助办公?
AIweker
|
2月前
|
人工智能 自然语言处理 数据挖掘
Claude 3.5：一场AI技术的惊艳飞跃 | AIGC
在这个科技日新月异的时代，人工智能（AI）的进步令人惊叹。博主体验了Claude 3.5 Sonnet的最新功能，对其卓越的性能、强大的内容创作与理解能力、创新的Artifacts功能、视觉理解与文本转录能力、革命性的“computeruse”功能、广泛的应用场景与兼容性以及成本效益和易用性深感震撼。这篇介绍将带你一窥其技术前沿的魅力。【10月更文挑战第12天】
AIweker
86 1
糜终
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AIGC的底层技术：人工智能通用计算架构
探索AIGC的底层技术：人工智能通用计算架构
糜终
190 3

ModelScope模型即服务

热门文章

最新文章

  • 1
    阿里云通义千问向全社会开放！
  • 2
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 3
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 4
    CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • 5
    通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！
  • 6
    vanna+qwen实现私有模型的SQL转换
  • 7
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 8
    Kimi 上线视觉思考模型，K1 系列强化学习模型正式开放，无需借助外部 OCR 处理图像与文本进行思考并回答
  • 9
    OpenAI 12天发布会内容全纪录！一文快速回顾获知亮点信息，原文附发布会中文字幕视频
  • 10
    WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 1
    RWKV-7：RWKV系列开源最新的大模型架构，具有强大的上下文学习能力，超越传统的Attention范式
    11
  • 2
    PromptWizard：微软开源 AI 提示词自动化优化框架，能够迭代优化提示指令和上下文示例，提升 LLMs 特定任务的表现
    8
  • 3
    StyleStudio：支持图像风格迁移的文生图模型，能将融合参考图像的风格和文本提示内容生成风格一致的图像
    8
  • 4
    OpenAI 12天发布会内容全纪录！一文快速回顾获知亮点信息，原文附发布会中文字幕视频
    114
  • 5
    Gemini 2.0 Flash Thinking：谷歌推出实验性多模态推理模型，在快速生成的同时展示详细的思考过程
    56
  • 6
    AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
    30
  • 7
    Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象
    40
  • 8
    WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
    105
  • 9
    为什么企业需要开展架构治理？
    30
  • 10
    如何提升大模型的“深度思维能力”
    56

    • 相关课程

    更多
  • 会展策划创意大赛AIGC实践
  • ArtLab x 云工开物 AIGC 入门与实践
  • 阿里云AIGC设计新范式——云工开物高校营
  • ADB-PG+大模型一站式AIGC解决方案
  • AIGC无处不在，把AI应用构建于Serverless之上
  • 基于ASK轻松部署企业级Stable Diffusion

    • 相关电子书

    更多
  • 新一代AIGC图像应用 在零售行业的实践成果
  • 云原生场景下， AIGC模型服务的工程挑战和应对
  • 关于《探索AIGC下的软件工程新范式》的联合声明

    • 相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 【文生图】一键部署Stable Diffusion基于函数计算
  • 在云上部署ChatGLM2-6B大模型（GPU版）
  • 【玩转ComfyUI】基于函数计算一键部署AI生图平台 ComfyUI
  • 如何快速体验通义大模型
    • 下一篇
    DataWorks