开发者社区> 问答> 正文

在DataWorks上使用PyODPS时需要注意什么?

在DataWorks上使用PyODPS时需要注意什么?

展开
收起
游客nxq6attzvywgk 2021-12-11 14:25:48 601 0
1 条回答
写回答
取消 提交回答
  • 在DataWorks上使用PyODPS时需要注意:为了防止对DataWorks的Gate Way造成压力,对内存和CPU都有限制,该限制由DataWorks统一管理。如果发现有Got killed报错,即表明内存使用超限,进程被中止。因此,应该尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。

    2021-12-11 14:27:57
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载