AI 助理
备案控制台登录注册
开发者社区 问答 正文

线上运行时SparkSession代码中参数写到Spark节点的作用是什么呢?

线上运行时SparkSession代码中参数写到Spark节点的作用是什么呢?

展开
收起
bnbajjyhyjfty 2021-12-11 21:30:42 823 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客5q6u2bzdfcir4

    Spark on MaxCompute在读MaxCompute表时，会被提示此项目不存在，如果确定项目的确存在，需要指定运行时端点的信息。通过运行时端点信息连接对应ODPS的元数据库，查询对应元数据是否来自对应的表，并查询项目是否存在

    2021-12-11 21:31:08 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 Spark
问答标签：
apache spark运行 apache spark代码 apache spark节点 apache spark参数
问答地址：
开发者社区 > 大数据 > 问答
相关问答
大数据计算MaxCompute Spark节点，是不是不可以跨数据库读写？
72
1
0
DMS任务编排跨库Spark SQL节点可以限速限并发吗
49
1
0
DMS任务编排Spark SQL节点失败无报错信息
49
1
0
Dataworks 里的 ODPS spark 节点访问不到 maxcompute 里的表
55
1
0
大数据计算MaxCompute on spark 可以在硅谷节点使用吗？
31
1
0
阿里云maxcompute on spark 可以在硅谷节点使用吗？
29
0
0
dataworks调用odps的spark中的pyspark代码报错找不到main函数什么情况啊？
60
1
0
DataWorks文档上这里有spark节点我的咋没有？
38
1
0
在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数？
56
1
0
Spark提供了哪些主要参数来调整计算存储资源的使用情况？
34
1
0
AI助理

你好，我是AI助理

可以解答问题、推荐解决方案等