- 1. 准备工作
- 1.1 环境安装
- 1.2 Hugging Face Space 注册和登录
- 2. 如何训练
- 2.1 上传图片
- 2.2 训练参数调整
- 2.3 可视化训练过程
- 2.4 挑选满意的权重上传至Huggingface
1. 准备工作
1.1 环境安装
\ 在开始之前，我们需要准备我们所需的环境，运行下面的命令安装依赖。为了确保安装成功，安装完毕请重启内核！ （注意：这里只需要运行一次！） 
pip install "paddlenlp>=2.5.2" "ppdiffusers>=0.11.1" safetensors --user
# 请运行这里安装所需要的依赖环境！！ !pip install "paddlenlp>=2.5.2" safetensors "ppdiffusers>=0.11.1" --user from IPython.display import clear_output clear_output() # 清理很长的内容
1.2 Hugging Face Space 注册和登录
题目要求将模型上传到 Hugging Face，需要先注册、登录。
- 注册和登录：huggingface.co/join
- 获取登录 Token
- Aistudio 登录 Huggingface Hub
Tips：为了方便我们之后上传权重，我们需要登录 Huggingface Hub，想要了解更多的信息我们可以查阅 官方文档。
!git config --global credential.helper store from huggingface_hub import login login()
VBox(children=(HTML(value='<center> <img\nsrc=https://huggingface.co/front/assets/huggingface_logo-noborder.sv…
- tips：如何检测是否登录成功？
打开日志控制控制台，查看日志。
登录成功时，日志如下：
2. 如何训练模型，并上传到HF
数据获取，免费图片一大堆 unsplash.com/s/photos/ch…
2.1 上传图片
- 首先，我们需要将所需训练的图片上传到aistudio上的文件夹, 我们可以通过👉拖拽上传 的方式，将我们所需的图片上传至指定的文件夹。
- 准备好的图片直接解压缩。
# 解压缩数据集 !unzip -qoa data/data198584/food.zip -d food
2.2 训练参数调整
在训练过程中，我们可以尝试修改训练的默认参数，下面将从三个方面介绍部分参数。
👉主要修改的参数：
- pretrained_model_name_or_path ：想要训练的模型名称或者本地路径的模型，例如：
"runwayml/stable-diffusion-v1-5"，更多模型可参考 PaddleNLP 文档。- instance_data_dir：训练图片所在的文件夹目录，我们可以将图片上传至aistudio项目。
- instance_prompt：训练所使用的
Prompt文本。- resolution：训练时图像的分辨率，建议为
512。- output_dir：训练过程中，模型保存的目录。
- checkpointing_steps：每隔多少步保存模型，默认为
100步。- learning_rate：训练使用的学习率，当我使用
LoRA训练模型的时候，我们需要使用更大的学习率，因此我们这里使用1e-4而不是2e-6。- max_train_steps：最大训练的步数，默认为
500步。
👉可选修改的参数：
- train_batch_size：训练时候使用的
batch_size，当我们的GPU显存比较大的时候可以加大这个值，默认值为4。- gradient_accumulation_steps：梯度累积的步数，当我们GPU显存比较小的时候还想模拟大的训练批次，我们可以适当增加梯度累积的步数，默认值为
1。- seed：随机种子，设置后可以复现训练结果。
- lora_rank：
LoRA层的rank值，默认值为4，最终我们会得到 3.5MB 的模型，我们可以适当修改这个值，如：32、64、128、256等。- lr_scheduler：学习率衰减策略，可以是
"linear", "constant", "cosine"等。- lr_warmup_steps：学习率衰减前，
warmup到最大学习率所需要的步数。
👉训练过程中评估使用的参数：
- num_validation_images：训练的过程中，我们希望返回多少张图片，默认值为
4张图片。- validation_prompt：训练的过程中我们会评估训练的怎么样，因此我们需要设置评估使用的
prompt文本。- validation_steps：每隔多少个
steps评估模型，我们可以查看训练的进度条，知道当前到了第几个steps。
🔥Tips: 训练过程中会每隔 validation_steps 将生成的图片保存到 {你指定的输出路径}/validation_images/{步数}.jpg
👉权重上传的参数：
- push_to_hub: 是否将模型上传到
huggingface hub，默认值为False。- hub_token: 上传到
huggingface hub所需要使用的token，如果我们已经登录了，那么我们就无需填写。- hub_model_id: 上传到
huggingface hub的模型库名称， 如果为None的话表示我们将使用output_dir的名称作为模型库名称。
在下面的例子中，由于我们前面已经登录了，因此我们可以开启 push_to_hub 按钮，将最终训练好的模型同步上传到 huggingface.co 当我们开启push_to_hub后，等待程序运行完毕后会自动将权重上传到这个路径 huggingface.co/{你的用户名}/{你指定的输出路径} ，例如： huggingface.co/junnyu/lora…
!python train_dreambooth_lora.py \ --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \ --instance_data_dir="./dogs" \ --output_dir="lora_outputs" \ --instance_prompt="a photo of sks dog" \ --resolution=512 \ --train_batch_size=1 \ --gradient_accumulation_steps=1 \ --checkpointing_steps=100 \ --learning_rate=1e-4 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --max_train_steps=500 \ --seed=0 \ --lora_rank=4 \ --push_to_hub=False \ --validation_prompt="a photo of sks dog in a bucket" \ --validation_steps=100 \ --num_validation_images=4
!python train_dreambooth_lora.py \ --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \ --instance_data_dir="./food" \ --output_dir="lora_outputs" \ --instance_prompt="a photo of Chinese cuisine" \ --resolution=512 \ --train_batch_size=1 \ --gradient_accumulation_steps=1 \ --checkpointing_steps=100 \ --learning_rate=1e-4 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --max_train_steps=500 \ --seed=0 \ --lora_rank=4 \ --push_to_hub=False \ --validation_prompt="a photo of Chinese cuisine in a bucket" \ --validation_steps=100 \ --num_validation_images=4
W0313 11:03:13.695348 1657 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.2, Runtime API Version: 11.2 W0313 11:03:13.699875 1657 gpu_resources.cc:91] device: 0, cuDNN Version: 8.2. 正在下载模型权重，请耐心等待。。。。。。。。。。 100%|███████████████████████████████████████████| 312/312 [00:00<00:00, 234kB/s] 100%|████████████████████████████████████████| 842k/842k [00:00<00:00, 14.6MB/s] 100%|████████████████████████████████████████| 512k/512k [00:00<00:00, 1.95MB/s] 100%|████████████████████████████████████████| 2.00/2.00 [00:00<00:00, 1.42kB/s] 100%|███████████████████████████████████████████| 478/478 [00:00<00:00, 400kB/s] 100%|███████████████████████████████████████████| 592/592 [00:00<00:00, 466kB/s] •[33m[2023-03-13 11:03:16,946] [ WARNING]•[0m - You are using a model of type clip_text_model to instantiate a model of type . This is not supported for all configurations of models and can yield errors.•[0m 100%|███████████████████████████████████████████| 342/342 [00:00<00:00, 247kB/s] 100%|████████████████████████████████████████| 469M/469M [00:14<00:00, 33.9MB/s] 100%|████████████████████████████████████████| 319M/319M [00:15<00:00, 21.5MB/s] 100%|███████████████████████████████████████████| 610/610 [00:00<00:00, 534kB/s] 100%|██████████████████████████████████████| 3.20G/3.20G [01:58<00:00, 29.0MB/s] 100%|███████████████████████████████████████████| 807/807 [00:00<00:00, 636kB/s] Train Steps: 20%|█▌ | 100/500 [00:50<03:14, 2.06it/s, epoch=0003, lr=0.0001, step_loss=0.313] Saved lora weights to lora_outputs/checkpoint-100 100%|███████████████████████████████████████████| 601/601 [00:00<00:00, 265kB/s]•[A 100%|███████████████████████████████████████████| 342/342 [00:00<00:00, 134kB/s]•[A Train Steps: 40%|██▍ | 200/500 [02:02<02:22, 2.10it/s, epoch=0007, lr=0.0001, step_loss=0.00845] Saved lora weights to lora_outputs/checkpoint-200 Train Steps: 60%|████▊ | 300/500 [03:14<01:22, 2.44it/s, epoch=0011, lr=0.0001, step_loss=0.109] Saved lora weights to lora_outputs/checkpoint-300 Train Steps: 80%|██████▍ | 400/500 [04:26<00:44, 2.23it/s, epoch=0015, lr=0.0001, step_loss=0.136] Saved lora weights to lora_outputs/checkpoint-400 Train Steps: 100%|███████| 500/500 [05:39<00:00, 2.03it/s, epoch=0019, lr=0.0001, step_loss=0.0476] Saved lora weights to lora_outputs/checkpoint-500 Model weights saved in lora_outputs/paddle_lora_weights.pdparams Train Steps: 100%|███████| 500/500 [06:31<00:00, 1.28it/s, epoch=0019, lr=0.0001, step_loss=0.0476] •[0m
2.3 可视化训练过程
VisualDL使用参考：官方教程
我们可以参照如图所示的步骤，开启visualdl，然后查看训练过程中的指标变化。
2.4 挑选满意的权重上传至Huggingface
参数解释：
- upload_dir：我们需要上传的文件夹目录。
- repo_name：我们需要上传的repo名称，最终我们会上传到 huggingface.co/{你的用户名}/{你指定的repo名称}， 例如： huggingface.co/junnyu/lora….
- pretrained_model_name_or_path：训练该模型所使用的基础模型。
- prompt：搭配该权重需要使用的Prompt文本。
from utils import upload_lora_folder upload_dir = "lora_outputs" # 我们需要上传的文件夹目录 repo_name = "lora_sks_dogs" # 我们需要上传的repo名称 pretrained_model_name_or_path = "runwayml/stable-diffusion-v1-5" # 训练该模型所使用的基础模型 prompt = "a photo of Chinese cuisine in a bucket" # 搭配该权重需要使用的Prompt文本 upload_lora_folder( upload_dir=upload_dir, repo_name=repo_name, pretrained_model_name_or_path=pretrained_model_name_or_path, prompt=prompt, )
