MaxCompute Spark中local模式运行的问题有哪些呢？
MaxCompute Spark中local模式运行的问题有哪些呢？
展开
收起
1
条回答
写回答
写回答
-
问题一:thevalue of spark.sqlcatalogimplementation should be one of hive in-memory but was odps。原因在于用户没有正确地按照文档将MaxcomputeSpark的jars目录添加到类路径，导致加载了社区版的 spark包，需要按照文档将jars目录添加到类路径
问题二:IDEALocal模式是不能直接引用spark-defaultsconf里的配置，必须要把Spark配置项写在代码中问题三:访问OSS和VPC: Local模式是处于用户本机环境，网络没有隔离。而Yarn-Cluster模式是处于Maxcompute的网络隔离环 境中，必须要要配置vpc访问的相关参数 Local模式下访问oss的endpoint通常是外网endpoint，而Yarn-cluster模式下访问vpc的endpoint是经典 网络endpoint
2021-12-12 16:52:24赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
