开发者社区> 问答> 正文

Spark读取HA模式HDFS Caused by: java.net.Unkn?报错

Spark版本:1.6.1

Hadoop版本:2.6.2

HDFS模式为:HA(正常使用,没有任何问题)

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://masters</value>
</property>

<!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 -->
<property>
  <name>dfs.nameservices</name>
  <value>masters</value>
</property>

使用Spark读取HDFS文件,报错Caused by: java.net.UnknownHostException: masters

val line = sc.textFile("hdfs://masters/user/hadoop/wordcount/input")

尝试解决方法:

1. 拷贝core-site.xml和hdfs-site.xml到$SPARK_HOME/conf/目录下:失败

2. 在$SPARK_HOME/conf/spark-default.conf添加:失败

spark.files file:///home/hadoop/work/spark-1.6.1/conf/hdfs-site.xml,file:///home/hadoop/work/spark-1.6.1/conf/core-site.xml
不知道哪位大侠有这方面的经验啊,给个答案吧。

展开
收起
爱吃鱼的程序员 2020-06-09 13:47:20 679 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    请问解决了吗,碰到同样问题了

    2020-06-09 13:47:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载