StableDiffusion流行模型介绍

简介: 本篇文章介绍市面上流行的Stable Diffusion模型,并且给出推荐的提示词和配置信息

模型文件说明

如下展示模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-mcc-by-nc-sa-4.0可,请您也遵守该许可的约定。您在使用该模型时也需要您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为(如上传/输入/生成/下载/使用违法或不良信息等)。如您发现任何模型/数据集/文件等有问题,请在下方的留言板块评论,及时联系我们处理。

更多类型的模型,可访问Modelscope模型社区获取。


一键复制模型库文件到自己的存储空间:

通过《Stable Diffusion 模型库,AIGC 画风任你选》活动页面,即可一键复制到自己的存储空间


Checkpoint类型模型介绍:


模型

文件

样图

推荐提示词

文件大小

AOM3_orangemixs

正面提示词:根据您的需要输入

负面提示词:越简单越好,如(nsfw, worst quality, low quality:1.4)如何避免写实的面孔:(realistic, lip, nose, tooth, rouge, lipstick, eyeshadow:1.0), (abs, muscular, rib:1.0),

Steps:

  • DPM++ SDE Karras: Test: 12~ ,illustration: 20~
  • DPM++ 2M Karras: Test: 20~ ,illustration: 28~

Upscaler :

  • Detailed illust → Latenet (nearest-exact)
    Denoise strength: 0.5 (0.5~0.6)
  • Simple upscale: Swin IR, ESRGAN, Remacri etc…
  • Denoise strength: Can be set low. (0.35~0.6)

2.0GB

dreamshaper_7

建议设置:

  • I had CLIP skip 2 on some pics (all of them for version 4)
  • I had ENSD: 31337 for basically all of them
  • All of them had highres.fix or img2img at higher resolution.
  • I don't use restore faces, as it washes out the painting effect
  • Versions >4 require no LoRA for anime style. For version 3 I suggest to use one of these LoRA networks at 0.35 weight:

2.0GB

GuoFeng3_v3.3

正面关键词 - key word:

best quality, masterpiece, highres, 1girl,china dress,Beautiful face

负面词 - Negative words:

NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet

如果想元素更丰富,可以添加下方关键词 -

Beautiful face,

hair ornament, solo,looking at viewer,smile,closed mouth,lips

china dress,dress,hair ornament, necklace, jewelry, long hair, earrings, chinese clothes,

architecture,east asian architecture,building,outdoors,rooftop,city,cityscape

Sampling steps:30 or 50

Sampler:DPM++ SDE Karras

VAE:vae-ft-mse-840000

3.95GB

Counterfeit-V2.5

正面关键词:(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,1girl,[black|red ]long hair, big eyes,Beautiful green eyes, detached sleeves,holding weapon,Injured face,Red Long Dress,(Left shoulder not exposed:1.4),Gorgeous Headwear,Gorgeous decoration,More decorative details,(Gorgeous sword:1.1),Gold decoration, leaning back,ethereal standing pose,Killer,sunrise,a sea of flowers,

负面关键词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),(easynegative:1.3)

3.95GB

RealisticVisionV2.0

正面提示词:
RAW photo, *subject*, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

负面提示词:
(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck


Euler AorDPM++ 2M Karras with 25 steps
CFG Scale 3,5 - 7
Hires. fix with Latent upscaler
0 Hires steps and Denoising strength 0.25-0.45
Upscale by 1.1-2.0
ENSD 31337

3.59GB

AWPortraitv1.1

推荐提示词Fisheyes, masterpiece, top quality, best quality, official art, beautiful and aesthetic, animation

采样推荐DPM++ 2M Karra

1.99GB

墨幽人造人_v1010

正面提示词1girl,moyou,realistic,(推荐在此基础上添加)

负面提示词lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,Long Neck,(narrow shoulder:1.1),Cock-eye,EasyNegative,Neck forward,(Thin:1.1),slim figure,(thin arm:1.1),More than 5 finger,

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30 (常用25、30)

高分辨率修复参数:(开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.25-0.4 (常用0.25、0.3、0.35)

放大倍数:2-3 (推荐 2)

cfg:7

7.28GB

MIX_MoYou2Dmix_1.0

正面提示词:(简单的tag即可出好图,甚至正负tag都不打也可以出好图,新手福音)

正:1girl,moyou,

负面提示词:

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30

高分辨率修复参数:(推荐开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.3(可适当调整)

放大倍数:2

2.24GB

majicMIX realistic_v6

推荐关键词: Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl

如果想要更暗的图像: in the dark, deep shadow, low key, etc.

负面关键词: ng_deepnegative_v1_75t and badhandv4

2.24GB

InteriorDesign

Lora, TI, VAE 可用于室内图片的生成

提示词:Livingroom,whitesofa,greenery,carpet,IsometricDreams(LivingRoom)_Beta

负面提示词:nsfw

3.97GB

Aerial View Of The Building

模型可以控制视角和体积

请使用controlnet来控制大楼

采用Lora控件风格

VAE强调色彩

TI文档细节丰富

关键词中不要给出鲜艳的词,否则会显得过于鲜艳。

3.97GB

ReVAnimated_v1.1

这是一个万能的模型,能够生成很多种类型的图片,人物,建筑,植物等

提示词顺序: content type > description > style > composition

正面提示词: ((best quality)), ((masterpiece)), (detailed) in beginning of prompt if you want anime-2.5D type

This model does great onPORTRAITS

5.28GB

GhostMix_V2.0

正面提示词:(masterpiece,topquality,bestquality,officialart,beautifulandaesthetic:1.2),(1girl),extremedetailed,(fractalart:1.3),colorful,highestdetailed..,<lora:调细节添加-2~2add_detail:1>,<lora:调细节2.5-6~3tangbohuDetailmakerV2.SglQ:0.15>,<lora:调锐度-2~2add_sharpness:0.25>,

负面词:(worst quality, low quality:2), monochrome,,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg, detached arm, liquid hand,inverted hand,disembodied limb, loli, oversized head,extra body, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t).

推荐参数Recommended Parameters:

Sampler: DPM++ 2M Karras

4.20GB

IP DESIGN _ 3D化模型_V1.1

正面提示词:pixar,3D,C4D,blender,1girl,solo,wings,long hair,jacket,black hair,shorts,pointy ears,dark-skinned female,ponytail,gradient,gradient background,hands in pockets,shirt,hair ornament,white shirt,green jacket,hoodie,(fairy wings:1.2),brown eyes,jewelry,open clothes,open jacket,looking down,fairy,hooded jacket,

负面提示词:(worst quality, low quality:1.4),(malformed hands:1.4),(poorly drawn hands:1.4),(mutated fingers:1.4),(extra limbs:1.35),(poorly drawn face:1.4),missing legs,(extra legs:1.4),missing arms,extra arm,ugly,huge eyes,fat,worst face,(close shot:1.1),text,watermark,blurry eyes,extra fingers,

Steps:30~40 推荐:768*1024(or正方形) Sampler:DPM++2MKarras

4.11GB

同时提供了最新发布的Stable Diffusion SDXL_1.0(6.46GB)

还有原版的Stable Diffusion-v1-5-inpainting(3.97GB)


ControlNet(图像精准控制)相关模型介绍

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。

本次提供的相关.pth如下,该介绍引用自https://huggingface.co/lllyasviel

Model Name

介绍

条件图片

输入案例

生成图片案例

文件大小

control_v11p_sd15_canny

通过图片边缘信息(线稿)生成图像

一张黑色背景上带有白色边缘的单色图像

image.png

image.png

1.35GB

control_v11e_sd15_ip2p

通过以像素为单位的指令进行训练

无条件

image.png

image.png

1.35GB

control_v11p_sd15_inpaint

通过图像修复训练

无条件

image.pngimage.png

image.png

1.35GB
control_v11p_sd15_mlsd

分析图片中线条结构和几何形状,可构建建筑物的外框,适合建筑、室内设计场景

一张带有注释线段的图像

image.png

image.png

1.35GB

control_v11f1p_sd15_depth

使用深度估计进行训练 一张具有深度信息的图像,通常表示为灰度图像。

image.png

image.png

1.35GB
control_v11p_sd15_normalbae 使用表面法向估计进行训练 一张具有表面法向信息的图像,通常表示为彩色编码图像。

image.png

image.png

1.35GB

control_v11p_sd15_seg

使用图像分割进行训练。

一张分段区域图像,通常表示为彩色编码图像

image.png

image.png

1.35GB
control_v11p_sd15_lineart

使用线描图像生成进行训练。

一张线描图像,通常为白色背景上的黑色线条

image.png

image.png

1.35GB
control_v11p_sd15s2_lineart_anime 使用动漫线描图像生成进行训练。 一张具有动漫风格线条的图像。

image.png

image.png

1.35GB

control_v11p_sd15_openpose

使用人类姿势训练

一张显示人体姿势的图像,通常表示为关键点或骨架。

image.png

image.png

1.35GB
control_v11p_sd15_scribble

使用涂鸦式图像生成进行训练。

一张带有涂鸦的图像,通常是随机或用户绘制的笔画。

image.png

image.png

1.35GB

control_v11p_sd15_softedge

使用软边缘图像生成进行训练。

一张具有柔和边缘的图像,通常用于创造更具绘画或艺术效果的效果。

image.png

image.png

1.35GB
lllyasviel/control_v11e_sd15_shuffle 使用图像随机化进行训练。

一张随机打乱了块或区域的图像。

image.png

image.png

1.35GB

control_v11f1e_sd15_tile

使用图像平铺进行训练。

一张模糊的图像或图像的一部分

image.png

image.png

1.35GB

其他模型

另外我们也收纳了一些流行的Lora模型,如拍立得风格,小人书连环画风格等,此处不做具体介绍,您可以根据其Lora的名称来了解它的用途。


相关文章
|
7月前
|
人工智能 物联网 PyTorch
SCEdit:轻量级高效可控的AI图像生成微调框架(附魔搭社区训练实践教程)
SCEdit是一个高效的生成式微调框架,由阿里巴巴通义实验室基础视觉智能团队所提出。
|
1月前
|
机器学习/深度学习 人工智能 PyTorch
使用Pytorch构建视觉语言模型(VLM)
视觉语言模型(Vision Language Model,VLM)正在改变计算机对视觉和文本信息的理解与交互方式。本文将介绍 VLM 的核心组件和实现细节,可以让你全面掌握这项前沿技术。我们的目标是理解并实现能够通过指令微调来执行有用任务的视觉语言模型。
46 2
|
3月前
|
数据可视化 Swift
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
|
3月前
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
80 7
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
【LLM】能够运行在移动端的轻量级大语言模型Gemma实践
【4月更文挑战第12天】可以运行在移动端的开源大语言模型Gemma模型介绍
324 0
|
5月前
|
人工智能 JSON 自然语言处理
国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
【7月更文挑战第7天】国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
262 10
国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
|
4月前
|
人工智能 自然语言处理 Swift
"轻量级微调推理框架SWIFT:大模型时代的速度革命,让你秒变AI部署高手!"
【8月更文挑战第17天】随着AI技术的发展,大模型如GPT-3和BERT引领风潮,但其部署与推理速度面临挑战。为此,魔搭社区推出了SWIFT(Simple Weight-Integrated Fine-Tuning)框架,它采用轻量级微调技术,实现模型参数压缩与加速,确保大模型能在移动端和边缘设备上高效运行。SWIFT具备四大特点:创新微调方法减少训练参数;内置优化策略提高推理速度;跨平台支持便于部署;兼容主流预训练模型。通过示例可见,从加载预训练模型到模型的微调、评估及导出,SWIFT简化了工作流程,降低了大模型的应用门槛,促进了AI技术的实际应用。
523 3
|
5月前
|
存储 人工智能 自然语言处理
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
在人工智能领域,大型语言模型的发展日新月异,它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
|
4月前
|
机器学习/深度学习 人工智能 算法
跨平台AI模型部署神器:FastDeploy实战Yolov5
跨平台AI模型部署神器:FastDeploy实战Yolov5
138 1
|
6月前
|
存储 自然语言处理 C++
LLM应用实战:当KBQA集成LLM(二)
本文主要是针对KBQA方案基于LLM实现存在的问题进行优化,主要涉及到图谱存储至Es,且支持Es的向量检索,还有解决了一部分基于属性值倒查实体的场景,且效果相对提升。
222 1