在maxcompute下提交原生pyspark任务 报错odps-0420031 具体情况如下-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

在maxcompute下提交原生pyspark任务 报错odps-0420031 具体情况如下

游客v5iscfxtv4tju 2019-05-29 23:45:15 898

刚刚开始接触阿里云大数据开发平台,通过官方文档看到,是完全支持原生spark的任务的提交,于是按照文档的环境配置,搭建了spark-2.3.0版本的客户端环境,但是在提交任务的过程中,已local[N]的模式提交,运行spark下的example的demo没有问题,运行自己的测试代码也没有任何问题,但是一旦以yarn-cluster模式提交,就会出现一个错误,目前没有解决的相关头绪,报错截图如下,往各位前辈,能指点一下,任务是以pyspark的方式提交,任务脚本为python开发

提交命令如下: spark-submit --master yarn-cluster --jars odps-spark-datasource_2.11.3.3.3_public.jar example/pi.py

报错内容大致为 发送请求时,对某个xml文件解析出现问题,但是我没有找到任何关于xml文件的信息

__20190529233910

XML 分布式计算 大数据 MaxCompute Spark 数据格式 Python
分享到
取消 提交回答
全部回答(0)
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题