在64核高内存的阿里云服务器中使用spark的时候,用Local模式的64线程运行比较好还是用standalone将多个子节点设置在本地好?
遇到了同样的问题,在CSDN看到了,希望阿里云团队能够给出正确、标准的答案~请查看
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在阿里云的64核高内存服务器上运行Apache Spark时,选择Local模式与Standalone模式主要取决于您的具体需求、资源管理和未来可能的扩展性。
Local模式:
spark-submit --master local[64]
命令时,Spark会在单个JVM中以多线程的方式运行,模拟出64个执行器(线程)。这种方式配置简单,启动速度快,适合于测试和开发环境。Standalone模式:
建议: - 如果您当前主要是进行开发调试或者运行的是轻量级的数据处理任务,可以选择Local模式,因为它简单快捷。 - 如果您考虑的是性能优化、资源隔离、未来可能的扩展性,或者需要更精细地控制资源分配,那么配置Standalone模式会是更好的选择,即便最初所有worker都在同一台物理机上。这样做的好处在于,当未来需要扩展到多台服务器时,迁移和配置会更加平滑。
综上所述,没有绝对的“正确”或“标准”答案,选择应基于您的具体应用场景和长远规划。