机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?
看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决,此回答整理自钉群“BladeDISC用户支持群”
在 Blade 模型转换工具中存在由于 protobuf 存储文件大小限制而出现的问题,这个限制是 2 GB 大小。
如果您的模型超过了这个限制,请尝试分割模型为较小的部分,然后使用 Blade 进行转换。此外,您还可以考虑使用其他格式来存储和加载模型,例如 ONNX 或 TensorFlow 等。这些格式与 Blade 兼容,并且不会受到 protobuf 文件大小限制的影响。
需要注意的是,由于 Blade 是一个开源的工具,您可以自己进行修改和定制。如果您有能力进行编程和算法优化,可以通过更改 Blade 的源代码来解决这个问题。但是,这需要消耗大量的时间和精力,并且需要一定的编程技能。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。