StableDiffusion流行模型介绍

简介: 本篇文章介绍市面上流行的Stable Diffusion模型,并且给出推荐的提示词和配置信息

模型文件说明

如下展示模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-mcc-by-nc-sa-4.0可,请您也遵守该许可的约定。您在使用该模型时也需要您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为(如上传/输入/生成/下载/使用违法或不良信息等)。如您发现任何模型/数据集/文件等有问题,请在下方的留言板块评论,及时联系我们处理。

更多类型的模型,可访问Modelscope模型社区获取。


一键复制模型库文件到自己的存储空间:

通过《Stable Diffusion 模型库,AIGC 画风任你选》活动页面,即可一键复制到自己的存储空间


Checkpoint类型模型介绍:


模型

文件

样图

推荐提示词

文件大小

AOM3_orangemixs

正面提示词:根据您的需要输入

负面提示词:越简单越好,如(nsfw, worst quality, low quality:1.4)如何避免写实的面孔:(realistic, lip, nose, tooth, rouge, lipstick, eyeshadow:1.0), (abs, muscular, rib:1.0),

Steps:

  • DPM++ SDE Karras: Test: 12~ ,illustration: 20~
  • DPM++ 2M Karras: Test: 20~ ,illustration: 28~

Upscaler :

  • Detailed illust → Latenet (nearest-exact)
    Denoise strength: 0.5 (0.5~0.6)
  • Simple upscale: Swin IR, ESRGAN, Remacri etc…
  • Denoise strength: Can be set low. (0.35~0.6)

2.0GB

dreamshaper_7

建议设置:

  • I had CLIP skip 2 on some pics (all of them for version 4)
  • I had ENSD: 31337 for basically all of them
  • All of them had highres.fix or img2img at higher resolution.
  • I don't use restore faces, as it washes out the painting effect
  • Versions >4 require no LoRA for anime style. For version 3 I suggest to use one of these LoRA networks at 0.35 weight:

2.0GB

GuoFeng3_v3.3

正面关键词 - key word:

best quality, masterpiece, highres, 1girl,china dress,Beautiful face

负面词 - Negative words:

NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet

如果想元素更丰富,可以添加下方关键词 -

Beautiful face,

hair ornament, solo,looking at viewer,smile,closed mouth,lips

china dress,dress,hair ornament, necklace, jewelry, long hair, earrings, chinese clothes,

architecture,east asian architecture,building,outdoors,rooftop,city,cityscape

Sampling steps:30 or 50

Sampler:DPM++ SDE Karras

VAE:vae-ft-mse-840000

3.95GB

Counterfeit-V2.5

正面关键词:(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,1girl,[black|red ]long hair, big eyes,Beautiful green eyes, detached sleeves,holding weapon,Injured face,Red Long Dress,(Left shoulder not exposed:1.4),Gorgeous Headwear,Gorgeous decoration,More decorative details,(Gorgeous sword:1.1),Gold decoration, leaning back,ethereal standing pose,Killer,sunrise,a sea of flowers,

负面关键词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),(easynegative:1.3)

3.95GB

RealisticVisionV2.0

正面提示词:
RAW photo, *subject*, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

负面提示词:
(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck


Euler AorDPM++ 2M Karras with 25 steps
CFG Scale 3,5 - 7
Hires. fix with Latent upscaler
0 Hires steps and Denoising strength 0.25-0.45
Upscale by 1.1-2.0
ENSD 31337

3.59GB

AWPortraitv1.1

推荐提示词Fisheyes, masterpiece, top quality, best quality, official art, beautiful and aesthetic, animation

采样推荐DPM++ 2M Karra

1.99GB

墨幽人造人_v1010

正面提示词1girl,moyou,realistic,(推荐在此基础上添加)

负面提示词lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,Long Neck,(narrow shoulder:1.1),Cock-eye,EasyNegative,Neck forward,(Thin:1.1),slim figure,(thin arm:1.1),More than 5 finger,

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30 (常用25、30)

高分辨率修复参数:(开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.25-0.4 (常用0.25、0.3、0.35)

放大倍数:2-3 (推荐 2)

cfg:7

7.28GB

MIX_MoYou2Dmix_1.0

正面提示词:(简单的tag即可出好图,甚至正负tag都不打也可以出好图,新手福音)

正:1girl,moyou,

负面提示词:

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30

高分辨率修复参数:(推荐开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.3(可适当调整)

放大倍数:2

2.24GB

majicMIX realistic_v6

推荐关键词: Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl

如果想要更暗的图像: in the dark, deep shadow, low key, etc.

负面关键词: ng_deepnegative_v1_75t and badhandv4

2.24GB

InteriorDesign

Lora, TI, VAE 可用于室内图片的生成

提示词:Livingroom,whitesofa,greenery,carpet,IsometricDreams(LivingRoom)_Beta

负面提示词:nsfw

3.97GB

Aerial View Of The Building

模型可以控制视角和体积

请使用controlnet来控制大楼

采用Lora控件风格

VAE强调色彩

TI文档细节丰富

关键词中不要给出鲜艳的词,否则会显得过于鲜艳。

3.97GB

ReVAnimated_v1.1

这是一个万能的模型,能够生成很多种类型的图片,人物,建筑,植物等

提示词顺序: content type > description > style > composition

正面提示词: ((best quality)), ((masterpiece)), (detailed) in beginning of prompt if you want anime-2.5D type

This model does great onPORTRAITS

5.28GB

GhostMix_V2.0

正面提示词:(masterpiece,topquality,bestquality,officialart,beautifulandaesthetic:1.2),(1girl),extremedetailed,(fractalart:1.3),colorful,highestdetailed..,<lora:调细节添加-2~2add_detail:1>,<lora:调细节2.5-6~3tangbohuDetailmakerV2.SglQ:0.15>,<lora:调锐度-2~2add_sharpness:0.25>,

负面词:(worst quality, low quality:2), monochrome,,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg, detached arm, liquid hand,inverted hand,disembodied limb, loli, oversized head,extra body, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t).

推荐参数Recommended Parameters:

Sampler: DPM++ 2M Karras

4.20GB

IP DESIGN _ 3D化模型_V1.1

正面提示词:pixar,3D,C4D,blender,1girl,solo,wings,long hair,jacket,black hair,shorts,pointy ears,dark-skinned female,ponytail,gradient,gradient background,hands in pockets,shirt,hair ornament,white shirt,green jacket,hoodie,(fairy wings:1.2),brown eyes,jewelry,open clothes,open jacket,looking down,fairy,hooded jacket,

负面提示词:(worst quality, low quality:1.4),(malformed hands:1.4),(poorly drawn hands:1.4),(mutated fingers:1.4),(extra limbs:1.35),(poorly drawn face:1.4),missing legs,(extra legs:1.4),missing arms,extra arm,ugly,huge eyes,fat,worst face,(close shot:1.1),text,watermark,blurry eyes,extra fingers,

Steps:30~40 推荐:768*1024(or正方形) Sampler:DPM++2MKarras

4.11GB

同时提供了最新发布的Stable Diffusion SDXL_1.0(6.46GB)

还有原版的Stable Diffusion-v1-5-inpainting(3.97GB)


ControlNet(图像精准控制)相关模型介绍

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。

本次提供的相关.pth如下,该介绍引用自https://huggingface.co/lllyasviel

Model Name

介绍

条件图片

输入案例

生成图片案例

文件大小

control_v11p_sd15_canny

通过图片边缘信息(线稿)生成图像

一张黑色背景上带有白色边缘的单色图像

image.png

image.png

1.35GB

control_v11e_sd15_ip2p

通过以像素为单位的指令进行训练

无条件

image.png

image.png

1.35GB

control_v11p_sd15_inpaint

通过图像修复训练

无条件

image.pngimage.png

image.png

1.35GB
control_v11p_sd15_mlsd

分析图片中线条结构和几何形状,可构建建筑物的外框,适合建筑、室内设计场景

一张带有注释线段的图像

image.png

image.png

1.35GB

control_v11f1p_sd15_depth

使用深度估计进行训练 一张具有深度信息的图像,通常表示为灰度图像。

image.png

image.png

1.35GB
control_v11p_sd15_normalbae 使用表面法向估计进行训练 一张具有表面法向信息的图像,通常表示为彩色编码图像。

image.png

image.png

1.35GB

control_v11p_sd15_seg

使用图像分割进行训练。

一张分段区域图像,通常表示为彩色编码图像

image.png

image.png

1.35GB
control_v11p_sd15_lineart

使用线描图像生成进行训练。

一张线描图像,通常为白色背景上的黑色线条

image.png

image.png

1.35GB
control_v11p_sd15s2_lineart_anime 使用动漫线描图像生成进行训练。 一张具有动漫风格线条的图像。

image.png

image.png

1.35GB

control_v11p_sd15_openpose

使用人类姿势训练

一张显示人体姿势的图像,通常表示为关键点或骨架。

image.png

image.png

1.35GB
control_v11p_sd15_scribble

使用涂鸦式图像生成进行训练。

一张带有涂鸦的图像,通常是随机或用户绘制的笔画。

image.png

image.png

1.35GB

control_v11p_sd15_softedge

使用软边缘图像生成进行训练。

一张具有柔和边缘的图像,通常用于创造更具绘画或艺术效果的效果。

image.png

image.png

1.35GB
lllyasviel/control_v11e_sd15_shuffle 使用图像随机化进行训练。

一张随机打乱了块或区域的图像。

image.png

image.png

1.35GB

control_v11f1e_sd15_tile

使用图像平铺进行训练。

一张模糊的图像或图像的一部分

image.png

image.png

1.35GB

其他模型

另外我们也收纳了一些流行的Lora模型,如拍立得风格,小人书连环画风格等,此处不做具体介绍,您可以根据其Lora的名称来了解它的用途。


相关文章
|
20天前
|
人工智能 物联网 PyTorch
SCEdit:轻量级高效可控的AI图像生成微调框架(附魔搭社区训练实践教程)
SCEdit是一个高效的生成式微调框架,由阿里巴巴通义实验室基础视觉智能团队所提出。
|
7天前
|
并行计算 算法 物联网
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
|
8天前
|
人工智能 安全 测试技术
微软开源4.2B参数多模态SLM模型Phi-3-vision,魔搭社区推理、微调实战教程来啦!
在 Microsoft Build 2024 上,微软持续开源了 Phi-3 系列的新模型们。包括 Phi-3-vision,这是一种将语言和视觉功能结合在一起的多模态模型。
|
20天前
|
人工智能 自然语言处理 搜索推荐
阿里推出 AtomoVideo 高保真图生视频框架,兼容多种文生图模型
【2月更文挑战第17天】阿里推出 AtomoVideo 高保真图生视频框架,兼容多种文生图模型
272 5
阿里推出 AtomoVideo 高保真图生视频框架,兼容多种文生图模型
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
开启想象翅膀:轻松实现文本生成模型的创作应用,支持LLaMA、ChatGLM、UDA、GPT2等模型,开箱即用
开启想象翅膀:轻松实现文本生成模型的创作应用,支持LLaMA、ChatGLM、UDA、GPT2等模型,开箱即用
|
11月前
|
机器学习/深度学习 自然语言处理 机器人
ModelScope开源mPLUG模型带你一键体验大火的视觉问答能力(2)
ModelScope开源mPLUG模型带你一键体验大火的视觉问答能力
|
11月前
|
测试技术 异构计算 Python
ModelScope开源mPLUG模型带你一键体验大火的视觉问答能力(1)
ModelScope开源mPLUG模型带你一键体验大火的视觉问答能力
|
11月前
|
人工智能 PyTorch API
【奶奶看了都会】Meta开源大模型LLama2部署使用教程,附模型对话效果
就在7月19日,MetaAI开源了LLama2大模型,Meta 首席科学家、图灵奖获得者 Yann LeCun在推特上表示Meta 此举可能将改变大模型行业的竞争格局。一夜之间,大模型格局再次发生巨变。
1584 3
【奶奶看了都会】Meta开源大模型LLama2部署使用教程,附模型对话效果
|
机器学习/深度学习 存储 前端开发
Gradio机器学习模型快速部署工具【应用分享】翻译3
Gradio机器学习模型快速部署工具【应用分享】翻译3
544 0
|
机器学习/深度学习 Web App开发 缓存
Gradio机器学习模型快速部署工具【应用分享】翻译4
Gradio机器学习模型快速部署工具【应用分享】翻译4
772 0

热门文章

最新文章