StableDiffusion流行模型介绍

简介: 本篇文章介绍市面上流行的Stable Diffusion模型,并且给出推荐的提示词和配置信息

模型文件说明

如下展示模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-mcc-by-nc-sa-4.0可,请您也遵守该许可的约定。您在使用该模型时也需要您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为(如上传/输入/生成/下载/使用违法或不良信息等)。如您发现任何模型/数据集/文件等有问题,请在下方的留言板块评论,及时联系我们处理。

更多类型的模型,可访问Modelscope模型社区获取。


一键复制模型库文件到自己的存储空间:

通过《Stable Diffusion 模型库,AIGC 画风任你选》活动页面,即可一键复制到自己的存储空间


Checkpoint类型模型介绍:


模型

文件

样图

推荐提示词

文件大小

AOM3_orangemixs

正面提示词:根据您的需要输入

负面提示词:越简单越好,如(nsfw, worst quality, low quality:1.4)如何避免写实的面孔:(realistic, lip, nose, tooth, rouge, lipstick, eyeshadow:1.0), (abs, muscular, rib:1.0),

Steps:

  • DPM++ SDE Karras: Test: 12~ ,illustration: 20~
  • DPM++ 2M Karras: Test: 20~ ,illustration: 28~

Upscaler :

  • Detailed illust → Latenet (nearest-exact)
    Denoise strength: 0.5 (0.5~0.6)
  • Simple upscale: Swin IR, ESRGAN, Remacri etc…
  • Denoise strength: Can be set low. (0.35~0.6)

2.0GB

dreamshaper_7

建议设置:

  • I had CLIP skip 2 on some pics (all of them for version 4)
  • I had ENSD: 31337 for basically all of them
  • All of them had highres.fix or img2img at higher resolution.
  • I don't use restore faces, as it washes out the painting effect
  • Versions >4 require no LoRA for anime style. For version 3 I suggest to use one of these LoRA networks at 0.35 weight:

2.0GB

GuoFeng3_v3.3

正面关键词 - key word:

best quality, masterpiece, highres, 1girl,china dress,Beautiful face

负面词 - Negative words:

NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet

如果想元素更丰富,可以添加下方关键词 -

Beautiful face,

hair ornament, solo,looking at viewer,smile,closed mouth,lips

china dress,dress,hair ornament, necklace, jewelry, long hair, earrings, chinese clothes,

architecture,east asian architecture,building,outdoors,rooftop,city,cityscape

Sampling steps:30 or 50

Sampler:DPM++ SDE Karras

VAE:vae-ft-mse-840000

3.95GB

Counterfeit-V2.5

正面关键词:(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,1girl,[black|red ]long hair, big eyes,Beautiful green eyes, detached sleeves,holding weapon,Injured face,Red Long Dress,(Left shoulder not exposed:1.4),Gorgeous Headwear,Gorgeous decoration,More decorative details,(Gorgeous sword:1.1),Gold decoration, leaning back,ethereal standing pose,Killer,sunrise,a sea of flowers,

负面关键词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),(easynegative:1.3)

3.95GB

RealisticVisionV2.0

正面提示词:
RAW photo, *subject*, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

负面提示词:
(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck


Euler AorDPM++ 2M Karras with 25 steps
CFG Scale 3,5 - 7
Hires. fix with Latent upscaler
0 Hires steps and Denoising strength 0.25-0.45
Upscale by 1.1-2.0
ENSD 31337

3.59GB

AWPortraitv1.1

推荐提示词Fisheyes, masterpiece, top quality, best quality, official art, beautiful and aesthetic, animation

采样推荐DPM++ 2M Karra

1.99GB

墨幽人造人_v1010

正面提示词1girl,moyou,realistic,(推荐在此基础上添加)

负面提示词lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,Long Neck,(narrow shoulder:1.1),Cock-eye,EasyNegative,Neck forward,(Thin:1.1),slim figure,(thin arm:1.1),More than 5 finger,

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30 (常用25、30)

高分辨率修复参数:(开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.25-0.4 (常用0.25、0.3、0.35)

放大倍数:2-3 (推荐 2)

cfg:7

7.28GB

MIX_MoYou2Dmix_1.0

正面提示词:(简单的tag即可出好图,甚至正负tag都不打也可以出好图,新手福音)

正:1girl,moyou,

负面提示词:

推荐参数:

vae:840000

采样:DPM++ 2M SDE Karras

步数:20-30

高分辨率修复参数:(推荐开)

放大算法:R-ESRGAN_4×+anime_6B

重绘幅度:0.3(可适当调整)

放大倍数:2

2.24GB

majicMIX realistic_v6

推荐关键词: Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl

如果想要更暗的图像: in the dark, deep shadow, low key, etc.

负面关键词: ng_deepnegative_v1_75t and badhandv4

2.24GB

InteriorDesign

Lora, TI, VAE 可用于室内图片的生成

提示词:Livingroom,whitesofa,greenery,carpet,IsometricDreams(LivingRoom)_Beta

负面提示词:nsfw

3.97GB

Aerial View Of The Building

模型可以控制视角和体积

请使用controlnet来控制大楼

采用Lora控件风格

VAE强调色彩

TI文档细节丰富

关键词中不要给出鲜艳的词,否则会显得过于鲜艳。

3.97GB

ReVAnimated_v1.1

这是一个万能的模型,能够生成很多种类型的图片,人物,建筑,植物等

提示词顺序: content type > description > style > composition

正面提示词: ((best quality)), ((masterpiece)), (detailed) in beginning of prompt if you want anime-2.5D type

This model does great onPORTRAITS

5.28GB

GhostMix_V2.0

正面提示词:(masterpiece,topquality,bestquality,officialart,beautifulandaesthetic:1.2),(1girl),extremedetailed,(fractalart:1.3),colorful,highestdetailed..,<lora:调细节添加-2~2add_detail:1>,<lora:调细节2.5-6~3tangbohuDetailmakerV2.SglQ:0.15>,<lora:调锐度-2~2add_sharpness:0.25>,

负面词:(worst quality, low quality:2), monochrome,,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg, detached arm, liquid hand,inverted hand,disembodied limb, loli, oversized head,extra body, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t).

推荐参数Recommended Parameters:

Sampler: DPM++ 2M Karras

4.20GB

IP DESIGN _ 3D化模型_V1.1

正面提示词:pixar,3D,C4D,blender,1girl,solo,wings,long hair,jacket,black hair,shorts,pointy ears,dark-skinned female,ponytail,gradient,gradient background,hands in pockets,shirt,hair ornament,white shirt,green jacket,hoodie,(fairy wings:1.2),brown eyes,jewelry,open clothes,open jacket,looking down,fairy,hooded jacket,

负面提示词:(worst quality, low quality:1.4),(malformed hands:1.4),(poorly drawn hands:1.4),(mutated fingers:1.4),(extra limbs:1.35),(poorly drawn face:1.4),missing legs,(extra legs:1.4),missing arms,extra arm,ugly,huge eyes,fat,worst face,(close shot:1.1),text,watermark,blurry eyes,extra fingers,

Steps:30~40 推荐:768*1024(or正方形) Sampler:DPM++2MKarras

4.11GB

同时提供了最新发布的Stable Diffusion SDXL_1.0(6.46GB)

还有原版的Stable Diffusion-v1-5-inpainting(3.97GB)


ControlNet(图像精准控制)相关模型介绍

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。

本次提供的相关.pth如下,该介绍引用自https://huggingface.co/lllyasviel

Model Name

介绍

条件图片

输入案例

生成图片案例

文件大小

control_v11p_sd15_canny

通过图片边缘信息(线稿)生成图像

一张黑色背景上带有白色边缘的单色图像

image.png

image.png

1.35GB

control_v11e_sd15_ip2p

通过以像素为单位的指令进行训练

无条件

image.png

image.png

1.35GB

control_v11p_sd15_inpaint

通过图像修复训练

无条件

image.pngimage.png

image.png

1.35GB
control_v11p_sd15_mlsd

分析图片中线条结构和几何形状,可构建建筑物的外框,适合建筑、室内设计场景

一张带有注释线段的图像

image.png

image.png

1.35GB

control_v11f1p_sd15_depth

使用深度估计进行训练 一张具有深度信息的图像,通常表示为灰度图像。

image.png

image.png

1.35GB
control_v11p_sd15_normalbae 使用表面法向估计进行训练 一张具有表面法向信息的图像,通常表示为彩色编码图像。

image.png

image.png

1.35GB

control_v11p_sd15_seg

使用图像分割进行训练。

一张分段区域图像,通常表示为彩色编码图像

image.png

image.png

1.35GB
control_v11p_sd15_lineart

使用线描图像生成进行训练。

一张线描图像,通常为白色背景上的黑色线条

image.png

image.png

1.35GB
control_v11p_sd15s2_lineart_anime 使用动漫线描图像生成进行训练。 一张具有动漫风格线条的图像。

image.png

image.png

1.35GB

control_v11p_sd15_openpose

使用人类姿势训练

一张显示人体姿势的图像,通常表示为关键点或骨架。

image.png

image.png

1.35GB
control_v11p_sd15_scribble

使用涂鸦式图像生成进行训练。

一张带有涂鸦的图像,通常是随机或用户绘制的笔画。

image.png

image.png

1.35GB

control_v11p_sd15_softedge

使用软边缘图像生成进行训练。

一张具有柔和边缘的图像,通常用于创造更具绘画或艺术效果的效果。

image.png

image.png

1.35GB
lllyasviel/control_v11e_sd15_shuffle 使用图像随机化进行训练。

一张随机打乱了块或区域的图像。

image.png

image.png

1.35GB

control_v11f1e_sd15_tile

使用图像平铺进行训练。

一张模糊的图像或图像的一部分

image.png

image.png

1.35GB

其他模型

另外我们也收纳了一些流行的Lora模型,如拍立得风格,小人书连环画风格等,此处不做具体介绍,您可以根据其Lora的名称来了解它的用途。


相关文章
|
1月前
|
机器学习/深度学习 存储 人工智能
【AI系统】轻量级CNN模型综述
本文介绍了几种常见的小型化CNN模型,包括SqueezeNet、ShuffleNet、MobileNet等系列。这些模型通过减少参数量和计算量,实现在有限资源下高效运行,适用于存储和算力受限的场景。文章详细解释了各模型的核心技术和优化策略,如Fire Module、Channel Shuffle、Depthwise Separable Convolutions等,旨在帮助读者理解和应用这些高效的小型化CNN模型。
47 3
|
4月前
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
92 7
|
4月前
|
机器学习/深度学习 人工智能 测试技术
AI计算机视觉笔记二十五:ResNet50训练部署教程
该项目旨在训练ResNet50模型并将其部署到RK3568开发板上。首先介绍了ResNet50网络,该网络由何恺明等人于2015年提出,解决了传统卷积神经网络中的退化问题。项目使用车辆分类数据集进行训练,并提供了数据集下载链接。环境搭建部分详细描述了虚拟环境的创建和所需库的安装。训练过程中,通过`train.py`脚本进行了15轮训练,并可视化了训练和测试结果。最后,项目提供了将模型转换为ONNX和PT格式的方法,以便在RK3568上部署。
|
5月前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习框架之争:全面解析TensorFlow与PyTorch在功能、易用性和适用场景上的比较,帮助你选择最适合项目的框架
【8月更文挑战第31天】在深度学习领域,选择合适的框架至关重要。本文通过开发图像识别系统的案例,对比了TensorFlow和PyTorch两大主流框架。TensorFlow由Google开发,功能强大,支持多种设备,适合大型项目和工业部署;PyTorch则由Facebook推出,强调灵活性和速度,尤其适用于研究和快速原型开发。通过具体示例代码展示各自特点,并分析其适用场景,帮助读者根据项目需求和个人偏好做出明智选择。
153 0
|
5月前
|
机器学习/深度学习 数据采集 物联网
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
199 0
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:跨平台模型移植与部署
【7月更文挑战第10天】 使用Python实现深度学习模型:跨平台模型移植与部署
377 1
|
8月前
|
并行计算 算法 物联网
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
|
自然语言处理
初体验图像分类模型
自建1300类常见物体标签体系,覆盖常见的日用品,动物,植物,家具,设备,食物等物体,标签从海量中文互联网社区语料进行提取,保留了出现频率较高的常见物体名称。模型结构采用最新的ViT-Base结构。
初体验图像分类模型
|
机器学习/深度学习 人工智能 自然语言处理
深度学习实战:tensorflow训练循环神经网络让AI创作出模仿莎士比亚风格的作品
深度学习实战:tensorflow训练循环神经网络让AI创作出模仿莎士比亚风格的作品
156 0
深度学习实战:tensorflow训练循环神经网络让AI创作出模仿莎士比亚风格的作品
|
机器学习/深度学习 算法 API
EasyCV开源|开箱即用的视觉自监督+Transformer算法库
EasyCV是阿里巴巴开源的基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具。EasyCV在阿里巴巴集团内支撑了搜索、淘系、优酷、飞猪等多个BU业务,同时也在阿里云上服务了若干企业客户,通过平台化组件的形式,满足客户自定定制化模型、解决业务问题的需求。
EasyCV开源|开箱即用的视觉自监督+Transformer算法库