AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 正文

请教个问题，Spark on MaxCompute是基于内存的吗？会不会比直接用odps sql写要

请教个问题，Spark on MaxCompute是基于内存的吗？会不会比直接用odps sql写要快很多？

展开
收起
游客3oewgrzrf6o5c 2022-07-14 14:58:09 772 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客bcfx2q4kttgbm

    MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。还是开源提交作业的方式，资源用的是MaxCompute的。因为spark任务要先获取资源再执行任务，还是直接使用odpsSQL跑，比较快（此答案整理自MaxCompute开发者社区2群）

    2022-07-14 17:06:25
    赞同 展开评论
问答分类：
SQL 分布式计算 MaxCompute Spark 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute内存 云原生大数据计算服务 MaxCompute sql 内存sql spark云原生大数据计算服务 MaxCompute 云原生大数据计算服务 MaxCompute odps
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关问答
MaxCompute
在大数据计算MaxCompute中，这个hash join 内存超了的问题是什么场景产生的？
112
2
0
大数据计算MaxCompute py odps文件里面可以直接使用吗？
88
2
0
大数据计算MaxCompute在执行distmap join时，频繁报错ODPS，怎么解决？
101
2
0
在大数据计算MaxCompute中，内存限制为8g，能够突破吗？
74
1
0
在大数据计算MaxCompute中，为什么hash join 内存超了？
74
1
0
在大数据计算MaxCompute中内存是map和reduce或者join阶段的内存吗？
53
0
0
在大数据计算MaxCompute一个SQL节点运行多个SQL语句，是所有SQL语句共用一个内存？
89
0
0
Hologres怎么查询sql的Query内存？
84
1
0
在大数据计算MaxCompute我想给我的odps sql任务少分配点计算资源，有什么办法吗？
60
1
0
大佬，oracle单表增量同步时候源库服务器额外占用内存近2g，这不正常吧
586
1
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关文章

  • Spark RDD 及性能调优
  • 别光知道存数据库了，数据建模才是王道！（入门指南+实战代码）
  • 如何评估数据接口的稳定性和可靠性
  • Trino权威指南
  • 如何使用 SpringBoot SpringBatch Quartz 来整合定时批量任务呢 ？

    • 热门讨论

    热门文章

  • DataWorks中maxcompute的表数据存储在哪里？需要购买存储空间吗？
  • 大数据计算MaxCompute阿里云一个CU对应多少cpu和内存？
  • 请问创建MaxCompute项目报错ODPS-0410051是怎么回事？
  • odps中如何解析json字符串？
  • 大数据计算MaxCompute中dataframe怎么转成pandas的dataframe？
  • 大数据计算MaxCompute日期传参为bizdate=$bizdate-1，日期会减一天吗？
  • 大数据计算MaxCompute的事务表能sync同步到本地的mysql数据库吗？
  • 生产环境的数据恢复
  • MaxCompute运行代码时，报错OpenJDK 64-Bit Server VM warning，如何解决？
  • datagrip怎么链接云mysql库？
    • 展开全部
  • odps是什么?
  • 吴刚专访--大数据和 MaxCompute 技术和故事
  • 阿里数据仓库实践分享
  • 品《阿里巴巴大数据实践-大数据之路》一书(下)
  • 大数据阿里云产品的简单介绍理解
  • 企业大数据平台下数仓建设思路
  • MaxCompute SQL原理解析及性能调优
  • 解决大数据难题 阿里云MaxCompute获科技大奖
  • 阿里怎么发工资？自研薪酬管理系统首次曝光
  • 原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化
    • 展开全部
    还有其他疑问?
    咨询AI助理