请问下机器学习PAI如果不用阿里云的服务RTP,那推理是不是就用原生的tf_serving就可以了?

请问下机器学习PAI如果不用阿里云的服务RTP,那推理是不是就用原生的tf_serving就可以了? 速度差距大吗?

展开
收起
真的很搞笑 2023-10-29 20:28:47 98 发布于黑龙江 分享
分享
版权
举报
3 条回答
写回答
取消 提交回答
  • 是的,如果你没有使用阿里云的Real-Time Prediction(RTP)服务,那么你就可以使用TensorFlow Serving来进行推理。TensorFlow Serving是Google开源的一个服务,用于部署和管理TensorFlow模型,进行在线预测。

    至于速度和效率,这主要取决于你的具体应用场景和网络环境。一般来说,RTP服务的性能和稳定性都经过了优化,可能在某些情况下会比原生TensorFlow Serving更快或者更稳定。但是,这并不是绝对的,具体情况还需要根据你的实际需求进行评估。

    另外,使用RTP服务还有一个好处,那就是它可以和阿里云的许多其他服务(如OSS、RDS、Redis等)进行集成,方便你进行模型的部署和管理。

    2023-10-30 11:33:50 发布于河北 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 可以用原生tf serving,但是建议用pai-eas的EasyRec Processor,速度比原生tf serving快很多,尤其在gpu上原生tf serving比EasyRec Processor推理速度有数量级的差距,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-10-30 08:05:19 发布于黑龙江 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果不想使用阿里云的服务RTP,可以使用原生 TensorFlow Serving。但是请注意,TensorFlow Serving 的速度受限于服务器的性能。建议使用专门的高性能服务器,以获得更快的推理速度。另外,可以考虑优化模型,以及设置合理的模型配置以提高推理速度。总的来说,如果使用 TensorFlow Serving,建议采用高性能服务器,以提高推理速度。

    2023-10-29 22:33:57 发布于河南 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等