暂无个人介绍
请刷新重新试试
使用什么连接的,如果是代码,建议可以贴一下代码。
如果是客户端报错,建议截图,贴一下错误。
按这个里的demo写,资料很全
https://github.com/aliyun/aliyun-emapreduce-demo
查看 报错module在哪个文件中,然后import进去。
按照提示进行操作,看看安全组,白名单之类有没有设置好。
按客服的指示进行操作就是了。
file://path 传入试一下。例如file:///usr/local/testfile
看一下服务器的安全组配置,出入两个方向端口是否大开。
错误信息与所使用的sql语句是否匹配。先ads数据库的客户端测试一下语句是否正确。
检查一下一些服务的端口有没有暴露到公网,是不是集群被攻击了。
自建还是有一些风险的。建议使用阿里云EMR产品 https://www.aliyun.com/product/emapreduce
软件仓库的repo多找几个设置上
例如可以加一个阿里云的配置
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
这是调用spark时返回的错误。查看spark代码可只 50错误码对应SparkExitCode.UNCAUGHT_EXCEPTION. 是spark执行时出异常了。
可以具体查看container日志看看,是什么异常。一般会出现java.lang.ClassNotFoundException ,java.lang.NoClassDefFoundError 等等问题。具体问题具体分析。
该错误会跟随这样的提示信息 Consider boosting spark.yarn.executor.memoryOverhead.
按着原来就可以了。调大这个参数的值。默认情况 spark.yarn.executor.memoryOverhead executorMemory * 0.10, with minimum of 384
spark 参数加上 --conf spark.yarn.executor.memoryOverhead=512 或者--conf spark.yarn.executor.memoryOverhead=768 或者 --conf spark.yarn.executor.memoryOverhead=1024 ,调大这个参数去解决你的问题。