开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope我把数据集文件下载到本地执行会报错这是什么情况?

ModelScope我把数据集文件下载到本地执行会报错这是什么情况?image.png
image.png
image.png

展开
收起
真的很搞笑 2023-10-08 18:45:56 111 0
1 条回答
写回答
取消 提交回答
  • def cfg_modify_fn(cfg):
    cfg.merge_from_dict(
    {'train':
    {"dataloader":
    {
    "batch_size_per_gpu": 16,
    "workers_per_gpu": 1
    }
    }
    })
    cfg.merge_from_dict(
    {'train':
    {"optimizer":
    {
    "type": "AdamW",
    "lr": 5e-5,
    "options": {
    "grad_clip": {
    "max_norm": 2.0
    }
    }
    }
    }
    })
    cfg.merge_from_dict(
    {'train':
    {"lr_scheduler": {
    "type": "StepLR",
    "step_size": 2,
    "options": {
    "warmup": {
    "type": "LinearWarmup",
    "warmup_iters": 2
    }
    }
    }
    }
    })
    cfg.merge_from_dict(
    {'train':
    {"evaluation": {
    "dataloader": {
    "batch_size_per_gpu": 16,
    "workers_per_gpu": 1,
    "shuffle": False
    }
    }
    }
    })
    cfg.train.hooks.extend(
    [{
    "type": "CheckpointHook",
    "interval": 1
    }, {
    "type": "TextLoggerHook",
    "interval": 1
    }, {
    "type": "EvaluationHook",
    "interval": 1
    }]
    )

    return cfg
    

    训练脚本中加上面代码,并在kwargs中加入cfg_modify_fn=cfg_modify_fn

    参考了这里https://modelscope.cn/models/damo/nlp_structbert_siamese-aoe_chinese-base/file/view/master/configuration.json
    site-packages/modelscope/trainers/nlp/siamese_uie_trainer.py evaluate方法中改一下pipeline参数device=self.device.type,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-10-08 19:56:23
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载