白盒化加速设置加速开关等

您好，可以按如下操作设置：

#!/bin/bash
export CUDA_VISIBLE_DEVICES=4,5,6,7
export MASTER_ADDR=localhost
export MASTER_PORT=6010
export NNODES=1
export NODE_RANK=0

rapidformer --user-script rapidformer_finetune_huggingface_bert_trainer.py
            --task sequence_classification \
            --pretrained-model-name-or-path 'bert-base-cased' \
            --data-path glue \
            --data-name mrpc \
            --epochs 3 \
            --micro-batch-size 16 \
            --global-batch-size 16 \
            --lr 2e-5 \
            --lr-decay-style linear \
            --lr-warmup-iters 100 \
            --weight-decay 1e-2 \
            --clip-grad 1.0 \
            --mixed-precision                                 #开启混合精度训练
            --zero-3-memory-optimization \                    #开启模型状态切分
            --onnx-runtime-training \                         #开启计算图优化

白盒化加速设置步骤如下： 1. 在命令行中输入以下命令：

python -m rapidformer_finetune_huggingface_bert_trainer --user-script rapidformer_finetune_huggingface_bert_trainer.py --acceleration-switch on

1. 在训练过程中，可以通过查看日志文件来确认白盒化加速是否已经开启。
2. 如果白盒化加速已经开启，可以在训练过程中观察到模型训练速度的提升。