想问一下ModelScope swift全量微调,不想保存global_stepxxx 这样的optim_stats的话,怎么设置呢?这个比较大
在 ModelScope 中,如果您不想保存 global_stepxxx 这样的 optim_stats,您可以通过设置 save_optim_stats 参数为 False 来禁用优化器状态的保存。下面是一个使用全量微调的示例代码:
from modelscope.train import Trainer
from modelscope.optimizers import SWALR
from modelscope.datasets import ImageFolder
train_dataset = ImageFolder(root="path/to/train_data", transform=None)
val_dataset = ImageFolder(root="path/to/val_data", transform=None)
model = ... # 您的模型
optimizer = SWALR(model.parameters(), lr=0.001, anneal_strategy="cos", save_optim_stats=False)
trainer = Trainer(
model=model,
optimizer=optimizer,
train_dataset=train_dataset,
val_dataset=val_dataset,
num_epochs=10,
batch_size=32,
save_interval=1,
log_interval=1,
save_path="./results",
)
trainer.train()
CopyCopy
在这个示例中,我们将 save_optim_stats 参数设置为 False,这样在训练过程中就不会保存 global_stepxxx 这样的 optim_stats。
是的, 这个问题我们也发现了, 不过这个参数目前还不支持. 最近事情比较多, 会在1~2周内支持哈,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”