raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format( RuntimeError: Error(s)..报错

2023-05-14 1178

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 即load_state_dict(fsd,strict=False) 属性strict;当strict=True,要求预训练练权重层数的键值与新构建的模型中的权重层数名称完全吻合;

今天在跑基于VGG16的迁移学习的时候，遇到错误。

 raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for VGG16_SE:

原因

加载预训练权重的过程中因为没使用VGG的其他的一些层的预训练权重，bias。产生了一个错误。

解决方案

我们只需要加一个strict=False这个参数

即load_state_dict(fsd,strict=False) 属性strict;当strict=True,要求预训练练权重层数的键值与新构建的模型中的权重层数名称完全吻合;

如果我们采用strict＝False就能够完美的解决这个问题。也就说与训练权重中与新构建网络中匹配层的键值就进行使用，没有的就默认初始化。

如果你是用的是 model.load_state_dict(torch.load(’ '))

 model.load_state_dict(torch.load('./xxx.pt'))

改为

 model.load_state_dict(torch.load('./xxx.pt'),strict=False)

如果你是用的是 model.load_state_dict(torch.load(’ '))

torch.load('xxx.pt')

改为

torch.load('xx.pth'),False

很多教程说名字不匹配直接添加False参数即可，但是这里需要注意一个大坑。

如果模型的键值和网络的键值完全不匹配，那么模型就没有加载预训练参数，虽然不再报错。

该False参数作用在于非严格匹配加载模型，可以下面几种情况进行分析。

比如说模型是resnet101模型，你现在的网络是resnet50。再假设resnet50的参数名包含在resnet101的参数中，那么直接使用False会为你的网络resnet50加载键值相同的参数。这样就避免了对resnet101的每个键对值进行循环匹配，看是否是resnet50需要的。

情况如1，模型有100个参数，都包含’module.’ ，网络也有100个参数，都没有’module.’ 。这种情况下如果参数设置为False，会发现没有任何键值能匹配上，因此网络就不会加载任何参数。

比如蒸馏网络PISR中，教师网络包含Encoder和Decoder两部分，学生网络由其中的Decoder部分组成，所以在训练学生网络时，如果要加载教师网络保存的预训练模型，设置False会自动识别Decoder部分键值相同，然后加载。

综上，设置False参数后依旧是按照键值查询加载参数的，有多少键值匹配，就加载多少模型的参数。