开发者社区> 问答> 正文

PyODPS的使用限制是什么呢?

PyODPS的使用限制是什么呢?

展开
收起
游客mm5dulkpivqdo 2021-12-08 17:51:22 382 0
1 条回答
写回答
取消 提交回答
  • 1.PyODPS节点获取本地处理的数据不能超过50 MB,节点运行时占用内存不能超过1 GB,否则节点任务会被系统中止。请避免在PyODPS任务中写额外的Python数据处理代码。

    2.在DataWorks上编写代码并进行调试效率较低,为提升运行效率,建议本地安装IDE进行代码开发。

    3.在DataWorks上使用PyODPS时,为了防止对DataWorks的Gate Way造成压力,对内存和CPU都有限制,该限制由DataWorks统一管理。如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。

    2021-12-08 18:39:41
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
MaxCompute 2.0—从ODPS到MaxCompute 立即下载
MaxCompute2.0—从ODPS到MaxCompute 立即下载
MaxCompute客户端 - odpscmd操作使用 立即下载