比如一个表大小8G size，全部用python脚本读取，那这个设置的instance的8G就不够了
比如一个表大小8G size，全部用python脚本读取，那这个设置的instance的8G就不够了把，数据的8G和这个instance的8G是有关联的吗，比如这边读取7g的数据放在内存里面，可以成功运行，然后两天的量是14G，就挂了这种
展开
收起
2
条回答
写回答
写回答
-
值得去的地方都没有捷径这个问题涉及了两个概念：计算资源和内存资源。
计算资源是指处理器或GPU的处理能力，而内存资源则指的是计算机用来存储数据和程序的RAM。对于使用Python脚本读取8GB大小的数据，如果选择一个只有8GB内存的instance，则可能会存储不足，导致程序运行时出现内存错误，例如MemoryError。
如果你足够了解数据的大小和计算资源的分配，你可以选择分布式计算。例如，将数据分割成适当大小的块并将它们分配给多个计算节点处理。这样，每个节点只需要处理部分数据，就不会超出内存限制。
因此，计算和内存资源是不同的，但相互关联。在处理大型数据集时，需要根据数据的大小进行计算资源和内存资源的分配，并确保使用相应的算法来优化内存使用。
2023-04-18 12:07:20赞同 展开评论 打赏 -
足够的哈，这个内存是单次读取量不是总的读取量，这个问题的结论就是不会内存不足，此回答整理自钉群“Dataphin二线技术支持群”
2023-04-12 12:40:02赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
Dataphin智能数据建设与治理
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
