ModelScope中Mgeo模型训练,报这个错size mismatch for classifier.bias: copying a param with shape torch.Size([57]) from checkpoint, the shape in current model is torch.Size([60]).
麻烦问下是什么问题?transformers版本4.31.0.报错截图
{"tokens": ["海", "南", "省", "海", "口", "市", "琼", "山", "区", "云", "龙", "镇", "云", "蛟", "村", "委", "会", "海", "榆", "北", "路", "1", "8", "8", "号", "中", "信", "台", "达", "国", "际", "A", "区", "独", "栋", "3", "0", "号", "1", "0", "室"], "ner_tags": ["B-prov", "I-prov", "E-prov", "B-city", "I-city", "E-city", "B-district", "I-district", "E-district", "B-town", "I-town", "E-town", "B-community", "I-community", "I-community", "I-community", "E-community", "B-road", "I-road", "I-road", "E-road", "B-roadno", "I-roadno", "I-roadno", "E-roadno", "B-poi", "I-poi", "I-poi", "I-poi", "I-poi", "E-poi", "B-subpoi", "E-subpoi", "B-houseno", "I-houseno", "I-houseno", "I-houseno", "E-houseno", "B-roomno", "I-roomno", "E-roomno"]}
我加了一条这个训练。原模型没训练roomno,现在想加roomno来训练。
这条是用自定义数据集训练的,本地load用户自定义数据在模型卡片上有说明。记得这个模型原来是数据脱敏,不识别roomno的。此回答来自钉群魔搭ModelScope开发者联盟群 ①。
这个错误提示表明在加载预训练模型时,分类器的偏置参数(bias)的形状不匹配。预训练模型中的偏置参数形状为torch.Size([57]),而当前模型中的形状为torch.Size([60])。
要解决这个问题,你可以尝试以下方法:
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352