Exception in thread “main“ java.io.IOException: No FileSystem for scheme: hdfs

问题出现场景

当我使用 Spark 写入数据到 Hive 时，发生了这个报错。

解决方法

在 Spark 的 pom.xml 文件中增加 Hadoop 对应版本的依赖，如下所示：

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.1.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.3</version>
        </dependency>

注意将版本号改为与集群对应的版本！