开发者社区> 问答> 正文

公有云 3.5.6 Dataphin的调度任务里面,一些脚本python设置了内存是8G是表示

公有云 3.5.6

Dataphin的调度任务里面,一些脚本python设置了内存是8G是表示这个instance的最高上限是8G吗

可以不可以提高,#### @required_resource{required_memory=4GB;required_cpus=4.0} @resource_reference{"oss_odps"}。 类似于这种

展开
收起
真的很搞笑 2023-04-11 23:46:38 230 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    根据你提供的信息和常见的Dataphin使用情况看来,这里提供以下解释:

    在Dataphin中,经常会在调度任务的脚本中设置资源需求,这些资源包括CPU、内存、存储等。其中,对于内存的设置,确实可以表示这个Python脚本的instance的最高上限是8GB,就是说,如果该instance需要的内存超过8GB,可能会出现内存不足的情况。但是,这并不表示Dataphin或者脚本在运行过程中会消耗掉8GB的内存,而是代表了这个instance所需要的最大内存容量。

    相应地,对于提高内存限制的问题,通常需要更改instance所在的资源组或设置更高的资源需求,比如你提供的例子中,所需最低内存为4GB,最低CPU为4.0。如果这个调度任务的instance需要更高的内存,那么就需要将这个值设置为更高的内存值,而这很可能会需要更多的CPU资源和存储空间等,需要确保资源组或其他配置可以支持这种更高的资源需求。

    需要注意的是,Dataphin的资源分配是固定的,根据你的组织账号和使用情况进行预算和分配,若需要更高的资源需求,可能需要申请更高版本的Dataphin产品或者额外的资源配额,具体情况可以联系Dataphin的客户支持寻求帮助。

    2023-04-18 12:07:20
    赞同 展开评论 打赏
  • 3.5.6是独立部署吧,是的表示这个任务上限是8g,公共云3.7.5或环境单个任务最高支持设置16G,这个和总的资源有影响的,建议客户慢慢往上加内存来调整,此回答整理自钉群“Dataphin二线技术支持群”

    2023-04-12 12:08:44
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
聚焦数据管理交流、问答互动小花园。
问答排行榜
最热
最新

相关电子书

更多
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲 立即下载
Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载
Improving Python and Spark 立即下载