Spark版本:1.6.1
Hadoop版本:2.6.2
HDFS模式为:HA(正常使用,没有任何问题)
<property> <name>fs.defaultFS</name> <value>hdfs://masters</value> </property> <!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>masters</value> </property>
使用Spark读取HDFS文件,报错Caused by: java.net.UnknownHostException: masters
val line = sc.textFile("hdfs://masters/user/hadoop/wordcount/input")
尝试解决方法:
1. 拷贝core-site.xml和hdfs-site.xml到$SPARK_HOME/conf/目录下:失败
2. 在$SPARK_HOME/conf/spark-default.conf添加:失败
spark.files file:///home/hadoop/work/spark-1.6.1/conf/hdfs-site.xml,file:///home/hadoop/work/spark-1.6.1/conf/core-site.xml不知道哪位大侠有这方面的经验啊,给个答案吧。
请问解决了吗,碰到同样问题了
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。