开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

想问一下ModelScope swift全量微调,怎么设置呢?

想问一下ModelScope swift全量微调,不想保存global_stepxxx 这样的optim_stats的话,怎么设置呢?这个比较大

展开
收起
cuicuicuic 2023-09-10 09:28:13 85 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 ModelScope 中,如果您不想保存 global_stepxxx 这样的 optim_stats,您可以通过设置 save_optim_stats 参数为 False 来禁用优化器状态的保存。下面是一个使用全量微调的示例代码:

    from modelscope.train import Trainer
    from modelscope.optimizers import SWALR
    from modelscope.datasets import ImageFolder

    创建数据集

    train_dataset = ImageFolder(root="path/to/train_data", transform=None)
    val_dataset = ImageFolder(root="path/to/val_data", transform=None)

    创建模型

    model = ... # 您的模型

    创建优化器

    optimizer = SWALR(model.parameters(), lr=0.001, anneal_strategy="cos", save_optim_stats=False)

    创建训练器

    trainer = Trainer(
    model=model,
    optimizer=optimizer,
    train_dataset=train_dataset,
    val_dataset=val_dataset,
    num_epochs=10,
    batch_size=32,
    save_interval=1,
    log_interval=1,
    save_path="./results",
    )

    开始训练

    trainer.train()
    CopyCopy

    在这个示例中,我们将 save_optim_stats 参数设置为 False,这样在训练过程中就不会保存 global_stepxxx 这样的 optim_stats。

    2023-09-11 07:31:24
    赞同 展开评论 打赏
  • 是的, 这个问题我们也发现了, 不过这个参数目前还不支持. 最近事情比较多, 会在1~2周内支持哈,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-09-10 20:21:14
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
OpenStack Swift 海量小文件优化之路 立即下载
From Java/Android to Swift iOS 立即下载
Swift在Airbnb的应用实践 立即下载