StableDiffusion流行模型介绍

简介: 本篇文章介绍市面上流行的Stable Diffusion模型,并且给出推荐的提示词和配置信息

模型文件说明

如下展示模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-mcc-by-nc-sa-4.0可,请您也遵守该许可的约定。您在使用该模型时也需要您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为(如上传/输入/生成/下载/使用违法或不良信息等)。如您发现任何模型/数据集/文件等有问题,请在下方的留言板块评论,及时联系我们处理。

更多类型的模型,可访问Modelscope模型社区获取。


一键复制模型库文件到自己的存储空间:

通过《Stable Diffusion 模型库,AIGC 画风任你选》活动页面,即可一键复制到自己的存储空间


Checkpoint类型模型介绍:


模型

文件

样图

推荐提示词

文件大小

AOM3_orangemixs

正面提示词:根据您的需要输入

负面提示词:越简单越好,如(nsfw, worst quality, low quality:1.4)如何避免写实的面孔:(realistic, lip, nose, tooth, rouge, lipstick, eyeshadow:1.0), (abs, muscular, rib:1.0),

Steps:

  • DPM++ SDE Karras: Test: 12~ ,illustration: 20~
  • DPM++ 2M Karras: Test: 20~ ,illustration: 28~

Upscaler :

  • Detailed illust → Latenet (nearest-exact)
    Denoise strength: 0.5 (0.5~0.6)
  • Simple upscale: Swin IR, ESRGAN, Remacri etc…
  • Denoise strength: Can be set low. (0.35~0.6)

2.0GB

dreamshaper_7

建议设置:

  • I had CLIP skip 2 on some pics (all of them for version 4)
  • I had ENSD: 31337 for basically all of them
  • All of them had highres.fix or img2img at higher resolution.
  • I don't use restore faces, as it washes out the painting effect
  • Versions >4 require no LoRA for anime style. For version 3 I suggest to use one of these LoRA networks at 0.35 weight:

2.0GB

GuoFeng3_v3.3

正面关键词 - key word:

best quality, masterpiece, highres, 1girl,china dress,Beautiful face

负面词 - Negative words:

NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet

如果想元素更丰富,可以添加下方关键词 -

Beautiful face,

hair ornament, solo,looking at viewer,smile,closed mouth,lips

china dress,dress,hair ornament, necklace, jewelry, long hair, earrings, chinese clothes,

architecture,east asian architecture,building,outdoors,rooftop,city,cityscape

Sampling steps:30 or 50

Sampler:DPM++ SDE Karras

VAE:vae-ft-mse-840000

3.95GB

Counterfeit-V2.5

正面关键词:(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,1girl,[black|red ]long hair, big eyes,Beautiful green eyes, detached sleeves,holding weapon,Injured face,Red Long Dress,(Left shoulder not exposed:1.4),Gorgeous Headwear,Gorgeous decoration,More decorative details,(Gorgeous sword:1.1),Gold decoration, leaning back,ethereal standing pose,Killer,sunrise,a sea of flowers,

负面关键词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),(easynegative:1.3)

3.95GB

RealisticVisionV2.0

正面提示词:
RAW photo, *subject*, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

负面提示词:
(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck


Euler AorDPM++ 2M Karras with 25 steps
CFG Scale 3,5 - 7
Hires. fix with Latent upscaler
0 Hires steps and Denoising strength 0.25-0.45
Upscale by 1.1-2.0
ENSD 31337

3.59GB

AWPortraitv1.1

推荐提示词Fisheyes, masterpiece, top quality, best quality, official art, beautiful and aesthetic, animation

采样推荐DPM++ 2M Karra

1.99GB

墨幽人造人_v1010

正面提示词1girl,moyou,realistic,(推荐在此基础上添加)

负面提示词lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,Long Neck,(narrow shoulder:1.1),Cock-eye,EasyNegative,Neck forward,(Thin:1.1),slim figure,(thin arm:1.1),More than 5 finger,

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30 (常用25、30)

高分辨率修复参数:(开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.25-0.4 (常用0.25、0.3、0.35)

放大倍数:2-3 (推荐 2)

cfg:7

7.28GB

MIX_MoYou2Dmix_1.0

正面提示词:(简单的tag即可出好图,甚至正负tag都不打也可以出好图,新手福音)

正:1girl,moyou,

负面提示词:

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30

高分辨率修复参数:(推荐开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.3(可适当调整)

放大倍数:2

2.24GB

majicMIX realistic_v6

推荐关键词: Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl

如果想要更暗的图像: in the dark, deep shadow, low key, etc.

负面关键词: ng_deepnegative_v1_75t and badhandv4

2.24GB

InteriorDesign

Lora, TI, VAE 可用于室内图片的生成

提示词:Livingroom,whitesofa,greenery,carpet,IsometricDreams(LivingRoom)_Beta

负面提示词:nsfw

3.97GB

Aerial View Of The Building

模型可以控制视角和体积

请使用controlnet来控制大楼

采用Lora控件风格

VAE强调色彩

TI文档细节丰富

关键词中不要给出鲜艳的词,否则会显得过于鲜艳。

3.97GB

ReVAnimated_v1.1

这是一个万能的模型,能够生成很多种类型的图片,人物,建筑,植物等

提示词顺序: content type > description > style > composition

正面提示词: ((best quality)), ((masterpiece)), (detailed) in beginning of prompt if you want anime-2.5D type

This model does great onPORTRAITS

5.28GB

GhostMix_V2.0

正面提示词:(masterpiece,topquality,bestquality,officialart,beautifulandaesthetic:1.2),(1girl),extremedetailed,(fractalart:1.3),colorful,highestdetailed..,<lora:调细节添加-2~2add_detail:1>,<lora:调细节2.5-6~3tangbohuDetailmakerV2.SglQ:0.15>,<lora:调锐度-2~2add_sharpness:0.25>,

负面词:(worst quality, low quality:2), monochrome,,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg, detached arm, liquid hand,inverted hand,disembodied limb, loli, oversized head,extra body, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t).

推荐参数Recommended Parameters:

Sampler: DPM++ 2M Karras

4.20GB

IP DESIGN _ 3D化模型_V1.1

正面提示词:pixar,3D,C4D,blender,1girl,solo,wings,long hair,jacket,black hair,shorts,pointy ears,dark-skinned female,ponytail,gradient,gradient background,hands in pockets,shirt,hair ornament,white shirt,green jacket,hoodie,(fairy wings:1.2),brown eyes,jewelry,open clothes,open jacket,looking down,fairy,hooded jacket,

负面提示词:(worst quality, low quality:1.4),(malformed hands:1.4),(poorly drawn hands:1.4),(mutated fingers:1.4),(extra limbs:1.35),(poorly drawn face:1.4),missing legs,(extra legs:1.4),missing arms,extra arm,ugly,huge eyes,fat,worst face,(close shot:1.1),text,watermark,blurry eyes,extra fingers,

Steps:30~40 推荐:768*1024(or正方形) Sampler:DPM++2MKarras

4.11GB

同时提供了最新发布的Stable Diffusion SDXL_1.0(6.46GB)

还有原版的Stable Diffusion-v1-5-inpainting(3.97GB)


ControlNet(图像精准控制)相关模型介绍

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。

本次提供的相关.pth如下,该介绍引用自https://huggingface.co/lllyasviel

Model Name

介绍

条件图片

输入案例

生成图片案例

文件大小

control_v11p_sd15_canny

通过图片边缘信息(线稿)生成图像

一张黑色背景上带有白色边缘的单色图像

image.png

image.png

1.35GB

control_v11e_sd15_ip2p

通过以像素为单位的指令进行训练

无条件

image.png

image.png

1.35GB

control_v11p_sd15_inpaint

通过图像修复训练

无条件

image.pngimage.png

image.png

1.35GB
control_v11p_sd15_mlsd

分析图片中线条结构和几何形状,可构建建筑物的外框,适合建筑、室内设计场景

一张带有注释线段的图像

image.png

image.png

1.35GB

control_v11f1p_sd15_depth

使用深度估计进行训练 一张具有深度信息的图像,通常表示为灰度图像。

image.png

image.png

1.35GB
control_v11p_sd15_normalbae 使用表面法向估计进行训练 一张具有表面法向信息的图像,通常表示为彩色编码图像。

image.png

image.png

1.35GB

control_v11p_sd15_seg

使用图像分割进行训练。

一张分段区域图像,通常表示为彩色编码图像

image.png

image.png

1.35GB
control_v11p_sd15_lineart

使用线描图像生成进行训练。

一张线描图像,通常为白色背景上的黑色线条

image.png

image.png

1.35GB
control_v11p_sd15s2_lineart_anime 使用动漫线描图像生成进行训练。 一张具有动漫风格线条的图像。

image.png

image.png

1.35GB

control_v11p_sd15_openpose

使用人类姿势训练

一张显示人体姿势的图像,通常表示为关键点或骨架。

image.png

image.png

1.35GB
control_v11p_sd15_scribble

使用涂鸦式图像生成进行训练。

一张带有涂鸦的图像,通常是随机或用户绘制的笔画。

image.png

image.png

1.35GB

control_v11p_sd15_softedge

使用软边缘图像生成进行训练。

一张具有柔和边缘的图像,通常用于创造更具绘画或艺术效果的效果。

image.png

image.png

1.35GB
lllyasviel/control_v11e_sd15_shuffle 使用图像随机化进行训练。

一张随机打乱了块或区域的图像。

image.png

image.png

1.35GB

control_v11f1e_sd15_tile

使用图像平铺进行训练。

一张模糊的图像或图像的一部分

image.png

image.png

1.35GB

其他模型

另外我们也收纳了一些流行的Lora模型,如拍立得风格,小人书连环画风格等,此处不做具体介绍,您可以根据其Lora的名称来了解它的用途。


相关文章
|
6月前
|
人工智能 物联网 PyTorch
SCEdit:轻量级高效可控的AI图像生成微调框架(附魔搭社区训练实践教程)
SCEdit是一个高效的生成式微调框架,由阿里巴巴通义实验室基础视觉智能团队所提出。
|
2月前
|
数据可视化 Swift
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
|
1月前
|
机器学习/深度学习 自然语言处理 数据挖掘
从理论到实践:详解GraphRAG框架下的多模态内容理解与生成
【10月更文挑战第10天】随着多媒体内容的爆炸性增长,如何有效地理解和生成跨模态的数据(如图像、文本和视频)变得越来越重要。近年来,图神经网络(GNNs)因其在处理非结构化数据方面的强大能力而受到广泛关注。在此背景下,Graph Retrieval-Augmented Generation (GraphRAG) 框架作为一种新的方法,通过结合图检索和生成模型来提升多模态内容的理解与生成效果。本文将深入探讨GraphRAG的基本原理、核心组件以及实际应用,并通过代码示例展示其在多媒体内容处理中的潜力。
111 0
|
4月前
|
存储 人工智能 自然语言处理
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
在人工智能领域,大型语言模型的发展日新月异,它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
|
3月前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习框架之争:全面解析TensorFlow与PyTorch在功能、易用性和适用场景上的比较,帮助你选择最适合项目的框架
【8月更文挑战第31天】在深度学习领域,选择合适的框架至关重要。本文通过开发图像识别系统的案例,对比了TensorFlow和PyTorch两大主流框架。TensorFlow由Google开发,功能强大,支持多种设备,适合大型项目和工业部署;PyTorch则由Facebook推出,强调灵活性和速度,尤其适用于研究和快速原型开发。通过具体示例代码展示各自特点,并分析其适用场景,帮助读者根据项目需求和个人偏好做出明智选择。
67 0
|
3月前
|
机器学习/深度学习 自然语言处理 TensorFlow
迁移学习入门指南超棒!教你如何利用预训练模型加速 TensorFlow 项目开发,开启高效之旅!
【8月更文挑战第31天】在深度学习领域,迁移学习是种在资源有限的情况下快速开发高性能模型的技术。本指南介绍如何在TensorFlow中利用预训练模型实现迁移学习,包括选择、加载预训练模型、自定义顶层、冻结预训练层及训练模型等内容,以帮助提升模型性能和训练速度。
72 0
|
3月前
|
人工智能 自然语言处理 PyTorch
【AI大模型】Transformers大模型库(十五):timm库
【AI大模型】Transformers大模型库(十五):timm库
77 0
|
5月前
|
机器学习/深度学习 算法 数据可视化
【深度学习实战】基于深度学习的图片风格快速迁移软件(Python源码+UI界面)
【深度学习实战】基于深度学习的图片风格快速迁移软件(Python源码+UI界面)
|
6月前
|
人工智能 自然语言处理 数据可视化
开源单图生成3D模型TripoSR有哪些特点?
【2月更文挑战第16天】开源单图生成3D模型TripoSR有哪些特点?
175 2
开源单图生成3D模型TripoSR有哪些特点?
|
数据采集 机器学习/深度学习 人工智能
用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩
用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩
478 0