TensorRT同时加载多个模型很容易崩溃

简介: TensorRT同时加载多个模型很容易崩溃

比如说,有两个模型同时加载,很容易崩溃。

跟踪的时候会发现,在deserialize()的地方出错。

如果用gdb看,错误有时是这样的:

[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
Core was generated by `./gh_manager thread false 1'.
Program terminated with signal SIGSEGV, Segmentation fault.
#0  0x00007f7378dfa984 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
[Current thread is 1 (Thread 0x7f7345066700 (LWP 18369))]
(gdb) backtrace
#0  0x00007f7378dfa984 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#1  0x00007f7378e83106 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#2  0x00007f7378dff1a7 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#3  0x00007f7378dffe3b in _PyObject_GC_Malloc ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#4  0x00007f7378dffeed in _PyObject_GC_New ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#5  0x00007f7378ea43f8 in PyWrapper_New ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#6  0x00007f7378ea55d7 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#7  0x00007f7378e372b3 in PyObject_Call ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#8  0x00007f7378dd539c in PyEval_EvalFrameEx ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#9  0x00007f7378f0e11c in PyEval_EvalCodeEx ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#10 0x00007f7378e643b0 in ?? ()
   from /usr/lib/x86_64-linux-gnu/libpython2.7.so.1.0
#11 0x00007f7378e372b3 in PyObject_Call ()
---Type <return> to continue, or q <return> to quit---q
 from /usr/lib/x86_64-linux-gnu/libpytQuit
目录
相关文章
|
7月前
|
机器学习/深度学习 存储 缓存
ModelScope问题之训练完直接加载如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
127 3
|
7月前
|
机器学习/深度学习 存储 JSON
ModelScope问题之加载训到一半保存的checkpoint接着训练如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
143 0
|
7月前
|
PyTorch 算法框架/工具 异构计算
pytorch 模型保存与加载
pytorch 模型保存与加载
52 0
|
7月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow的保存与加载模型
【4月更文挑战第17天】本文介绍了TensorFlow中模型的保存与加载。保存模型能节省训练时间,便于部署和复用。在TensorFlow中,可使用`save_model_to_hdf5`保存模型结构,`save_weights`保存权重,或转换为SavedModel格式。加载时,通过`load_model`恢复结构,`load_weights`加载权重。注意模型结构一致性、环境依赖及自定义层的兼容性问题。正确保存和加载能有效利用模型资源,提升效率和准确性。
|
7月前
|
并行计算 异构计算
使用多卡进行训练,你可以在训练脚本中设置`device="cuda"`
使用多卡进行训练,你可以在训练脚本中设置`device="cuda"`【1月更文挑战第2天】【1月更文挑战第6篇】
380 1
|
并行计算 PyTorch 算法框架/工具
Pytorch:模型的保存/加载、并行化、分布式
Pytorch:模型的保存/加载、并行化、分布式
169 0
|
存储 机器学习/深度学习 PyTorch
Pytorch学习笔记(9)模型的保存与加载、模型微调、GPU使用
Pytorch学习笔记(9)模型的保存与加载、模型微调、GPU使用
694 0
Pytorch学习笔记(9)模型的保存与加载、模型微调、GPU使用
|
机器学习/深度学习 数据可视化 Java
TensorFlow 高级技巧:自定义模型保存、加载和分布式训练
本篇文章将涵盖 TensorFlow 的高级应用,包括如何自定义模型的保存和加载过程,以及如何进行分布式训练。
|
Web App开发 JSON TensorFlow
几行代码分析TensorFlow训练模型耗时
几行代码分析TensorFlow训练模型耗时
几行代码分析TensorFlow训练模型耗时
|
机器学习/深度学习 并行计算
快速解决深度学习推理过程cuda或tensorRT推理速度变慢的办法【亲测有效】
快速解决深度学习推理过程cuda或tensorRT推理速度变慢的办法【亲测有效】
837 0