AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 正文

MaxCompute 的 spark 能读 odps 的 resource 资源吗

MaxCompute 的 spark 能读 odps 的 resource 资源吗

展开
收起
游客3oewgrzrf6o5c 2022-07-20 17:28:10 1003 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 叶秋学长
    全栈JAVA领域创作者

    是的，MaxCompute 的 Spark 可以读取 ODPi（开源数据平台联盟）认证的资源，包括 ODPS。为此，MaxCompute 提供了一个 ODPi 认证的数据源连接器，可以将 ODPS 作为一个数据源连接到 Spark 中。此外，MaxCompute 还提供了一些 Spark 操作的客户端库和工具，可以方便地在 Spark 中操作 MaxCompute 数据。

    2023-07-26 08:02:49
    赞同 展开评论
问答分类：
分布式计算 MaxCompute Spark 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute MaxCompute 大数据开发治理平台 DataWorks资源 apache spark MaxCompute spark云原生大数据计算服务 MaxCompute 大数据开发治理平台 DataWorks maxcompute
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关问答
MaxCompute
MaxCompute spark如何引用依赖的文件/资源
47
1
0
Dataworks 里的 ODPS spark 节点访问不到 maxcompute 里的表
57
1
0
DataWorks分析数据集成节点的独享集成资源资源情况？
69
1
0
DataWorks数据集成独享资源组短时间内使用率飙到100%，有什么风险么？是需要加资源了么？
48
2
0
dataworks调用odps的spark中的pyspark代码报错找不到main函数什么情况啊？
63
1
0
DataWorks文档上这里有spark节点我的咋没有？
40
1
0
dataworks离线同步任务 可以批量修改使用的集成资源吗？
54
1
0
dataworks上如何开发实时任务 spark任务或者flink任务？
48
0
0
Spark提供了哪些主要参数来调整计算存储资源的使用情况？
35
1
0
dataworks怎么和spark EMR集成开发和运维调度？
53
0
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关文章

  • Dataphin功能Tips系列（47）-支持通过Spark本地客户端提交Spark Batch任务
  • Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
  • 打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
  • Dataphin功能Tips系列（41）-Hadoop集群管理
  • 场景题：100G的文件里有很多id，用1G内存的机器排序，怎么做？

    • 热门讨论

    热门文章

  • 如何将py文件资源传入ODPS DataFrame的map/apply方法的resources参数？
  • MaxCompute sql任务报错ODPS-0130161
  • DataWorks 连接超时，可能的原因是端点`是错误的，请检查您的端点，几个报错是啥意思？
  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
  • Maxcompute中如何处理expect equality expression (i.e., o
  • 大数据计算MaxCompute我这边推送到钉群中的文案 都是英文的 想要改成功中文的应该怎么做？
  • Maxcompute中如何处理ODPS-0130071:Semantic analysis exce
  • MaxCompute设置每个Reduce Worker的内存大小。这样设置？有参考案例吗？
  • DataWorks打不开是怎么回事？
  • 遇到Maxcompute中出现下面问题怎么办
    • 展开全部
  • 阿里云开源离线同步工具DataX3.0介绍
  • 每个人都应该知道的25个大数据术语
  • 美柚：最懂女性App背后的混合云架构与大数据服务
  • 2017杭州云栖大会FAQ（持续更新中）
  • Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 【转载】时隔一年多，我又用起了 Superset
  • 干货：解码OneData，阿里的数仓之路。
  • ［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
  • MaxCompute常见错误汇总（更新ing）
  • 如何有效降低大数据平台安全风险
    • 展开全部
    还有其他疑问?
    咨询AI助理