开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?

a5d75411d23bbabad3ab2e6aa6acb723.png 机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?

展开
收起
冰激凌甜筒 2023-04-25 17:21:18 324 0
2 条回答
写回答
取消 提交回答
  • 看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决,此回答整理自钉群“BladeDISC用户支持群”

    2023-04-25 19:36:24
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    在 Blade 模型转换工具中存在由于 protobuf 存储文件大小限制而出现的问题,这个限制是 2 GB 大小。

    如果您的模型超过了这个限制,请尝试分割模型为较小的部分,然后使用 Blade 进行转换。此外,您还可以考虑使用其他格式来存储和加载模型,例如 ONNX 或 TensorFlow 等。这些格式与 Blade 兼容,并且不会受到 protobuf 文件大小限制的影响。

    需要注意的是,由于 Blade 是一个开源的工具,您可以自己进行修改和定制。如果您有能力进行编程和算法优化,可以通过更改 Blade 的源代码来解决这个问题。但是,这需要消耗大量的时间和精力,并且需要一定的编程技能。

    2023-04-25 17:52:36
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载