问题1:大数据计算MaxCompute环境变量是spark 和java 的吧,这个对scala 和java 的版本有强要求吗?我这边试了还是报错,找不到datasource
问题2:可以代码中配置吗,或者加载指定位置的配置文件
回答1:https://help.aliyun.com/zh/maxcompute/user-guide/faq-about-spark-on-maxcompute?spm=a2c4g.11186623.0.i2![d3f9e504f4e7e0b2e1effe1bb6fe8935.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_c481908893274630879f1d4c83ef04f5.png)
回答2:打好包在spark客户端试下吧
https://github.com/aliyun/MaxCompute-Spark/wiki/02.-%E4%BD%BF%E7%94%A8Spark%E5%AE%A2%E6%88%B7%E7%AB%AF%E6%8F%90%E4%BA%A4%E4%BB%BB%E5%8A%A1(Yarn-Cluster%E6%A8%A1%E5%BC%8F)
先用spark客户端或者DataWorks的spark节点运行一下吧。idea上我这边测试也有识别不到conf的问题出现,需要升级研发帮忙看下
运行模式:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.296d991aTbBIbY,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。