caffe: train error: Serializing 25 layers--- Check failed: proto.SerializeToOstream(&output)

简介: I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)I0221 21:47:41.

I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)
I0221 21:47:41.826756  6797 solver.cpp:590] Iteration 9980, lr = 0.001
I0221 21:47:44.453655  6797 solver.cpp:468] Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel
I0221 21:47:44.453685  6797 net.cpp:948] Serializing 25 layers
F0221 21:47:47.096515  6797 io.cpp:69] Check failed: proto.SerializeToOstream(&output)
*** Check failure stack trace: ***
    @     0x7f06066beb7d  google::LogMessage::Fail()
    @     0x7f06066c0c7f  google::LogMessage::SendToLog()
    @     0x7f06066be76c  google::LogMessage::Flush()
    @     0x7f06066c151d  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f0606effe4e  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e1d30f  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e20a46  caffe::Solver<>::SnapshotToBinaryProto()
    @     0x7f0606e206ec  caffe::Solver<>::Snapshot()
    @     0x7f0606e1fe72  caffe::Solver<>::Step()
    @     0x7f0606e1f1d3  caffe::Solver<>::Solve()
    @           0x416280  train()
    @           0x418206  main
    @     0x7f0605be376d  (unknown)
    @           0x414fe9  (unknown)
Aborted (core dumped)
d302@d302-MS-7816-04:~/wangxiao/caffe-master$


解决方案:  2016年8月14号 补充

 

 

 

前两天有园友来问我,这个问题有没有解决,我回答说:忘了,好久之前的了,果然今天就出现了这个问题,昨晚跑的 VGG,出现了相同的问题,可是我之前跑那个代码 一直没问题啊,呃呃呃,我看错误是:

Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel

 

Check failed: proto.SerializeToOstream(&output) 

 

我扫了一眼,保存的 caffemodel,发现: _iter_10000.caffemodel 是存在的,但是 _iter_10000.solverstate 不在,估计是保存的问题,难道是空间不够用了?我删除了其他无关的 model,在 8000次迭代产生的 model上继续训练,待会就知道是否是 磁盘空间不足导致的问题了。。。

 

 

目测,已经过了那个错误的点了,所以,解决这个问题的答案是:存储空间不足,清理磁盘空间吧 。。。

 

另外,感谢园友的提醒,他解决的方法是:

  原来是之前穿件文件用了sudo,跑程序的时候没有加sudo,导致权限不够,加了sudo后就ok了

 

相关文章
|
IDE PyTorch 网络安全
Warning: Can save best model only with val_acc available, skipping
本文解决了在使用DenseNet网络结构保存最优模型时出现的"Warning: Can save best model only with val_acc available, skipping"问题,方法是将`ModelCheckpoint`回调函数中的`monitor`参数值从`val_acc`改为`val_accuracy`。
|
4月前
|
TensorFlow 算法框架/工具 Python
【Tensorflow】Found unexpected keys that do not correspond to any Model output: dict_keys([‘model_outp
文章讨论了在使用Tensorflow 2.3时遇到的错误信息:"Found unexpected keys that do not correspond to any Model output: dict_keys(['model_output']). Expected: ['dense']"。这个问题通常发生在模型的输出层命名与model.fit_generator的生成器函数中返回的值的键不匹配时。
51 1
|
4月前
|
TensorFlow API 算法框架/工具
【Tensorflow+keras】解决使用model.load_weights时报错 ‘str‘ object has no attribute ‘decode‘
python 3.6,Tensorflow 2.0,在使用Tensorflow 的keras API,加载权重模型时,报错’str’ object has no attribute ‘decode’
56 0
加载模型出现-RuntimeError: Error(s) in loading state_dict for Net:unexpected key(s) in state_dict: XXX
加载模型出现-RuntimeError: Error(s) in loading state_dict for Net:unexpected key(s) in state_dict: XXX
557 0
|
7月前
|
机器学习/深度学习 人工智能
【CatBoost报错解决】CatBoostError: Bad value for num feature[non default doc idx=0,feature idx=19]=
【CatBoost报错解决】CatBoostError: Bad value for num feature[non default doc idx=0,feature idx=19]=
|
API 数据格式
TensorFlow2._:model.summary() Output Shape为multiple解决方法
TensorFlow2._:model.summary() Output Shape为multiple解决方法
282 0
TensorFlow2._:model.summary() Output Shape为multiple解决方法
|
机器学习/深度学习 数据采集
ValueError: Found input variables with inconsistent numbers of samples: [140, 1120] 怎么解决?
这个错误通常发生在机器学习模型的训练中,它表示输入数据的样本数量不一致。在你的情况下,你的输入数据中有两个变量,一个变量的样本数量为140,另一个变量的样本数量为1120,因此这个错误就出现了。 为了解决这个问题,你需要确保所有输入变量的样本数量是相同的。你可以通过以下几种方式来解决这个问题: 检查数据:检查数据是否正确加载,可能会导致数据样本数量不一致。 数据清洗:检查是否有重复的样本或者缺失的样本,如果有则需要对数据进行清洗。 数据对齐:如果你使用了多个数据源,那么你需要对它们进行对齐以确保它们的样本数量一致。 数据重采样:如果数据中有不均衡的样本数量,你可以考虑使用数据重采样方
969 0
|
TensorFlow 算法框架/工具
解决TypeError: tf__update_state() got an unexpected keyword argument ‘sample_weight‘
解决TypeError: tf__update_state() got an unexpected keyword argument ‘sample_weight‘
283 0
解决TypeError: tf__update_state() got an unexpected keyword argument ‘sample_weight‘
|
算法框架/工具 Windows