可控AI,无限生成
一句“A cute girl”这样的提示词,到底在Scepter studio上可以生成多少张不同风格的图片?答案是:无限
SCEPTER 是一个开源代码存储库,致力于生成训练、微调和推理,包含一系列下游任务,例如图像生成、传输、编辑。它集成了流行的社区驱动的实现以及阿里巴巴集团通义实验室的方法,为 AIGC 领域的研究人员和从业者提供了全面的工具包。这个多功能库旨在促进快速发展的生成模型领域的创新和加速开发。
SCEPTER Studio,是一个基于Gradio的数据管理、模型训练和推理的集成工具包。
支持范围:
- SD系列系列模型:SD-v1.5/SD-v2.1/SD-XL
- 文本生成图片推理:使用咒语/使用微调/使用控制
- 数据管理:支持从零新建数据集
- 模型训练:支持全参数微调,lora,SCE,TEXT-SCE,TEXT_LORA等各种微调方式
开源地址:https://github.com/modelscope/scepter
魔搭社区最佳实践
0代码创空间体验
创空间体验地址:
https://modelscope.cn/studios/iic/scepter_studio/summary
创空间主要体验文本生成图片推理能力:
prompt:a cute girl
基础模型生成:
使用咒语书:选择可爱的3D角色风格
使用微调,微调模型是铅笔素描:
选择控制,openpose(目前控制仅支持SD-v2.1,SDXL正在训练中)
支持咒语,微调模型,控制器叠加使用,如下为可爱3D角色咒语和openpose可控生成叠加使用:
使用魔搭免费算力独占式部署Scepter Studio
环境配置与安装
- python 3.8及以上版本
- pytorch 1.12及以上版本,推荐2.0及以上版本
- 建议使用CUDA 11.4及以上
本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行(显存24G) :
点击模型右侧Notebook快速开发按钮,选择GPU环境
新建Notebook
安装依赖库
pip install scepter==0.0.2
拉起Web-UI服务
#中文web-ui python -m scepter.tools.webui --language zh #英文web-ui python -m scepter.tools.webui --language en
按照这种方式部署的web-ui支持数据管理和训练(需要40G显存)
更多详细使用说明,参考教学视频: