这个spark-streamin几个 maven的 文件找不到,报错了,阿里云镜像都没有
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.2.0.cloudera2</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
<version>2.2.0.cloudera2</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0.cloudera2</version>
<scope>compile</scope>
</dependency>
[WARNING] The POM for org.apache.spark:spark-streaming_2.112.2.0.cloudera2 is missing, no dependency information available [WARNING] The POM for org.apache.spark:spark-streaming-kafka-0-10_2.112.2.0.cloudera2 is missing, no dependency information available [WARNING] The POM for org.apache.spark:spark-core_2.112.2.0.cloudera2 is missing, no dependency information available
[INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 7.896 s [INFO] Finished at: 2020-02-22T16:15:19+08:00 [INFO] Final Memory: 27M/266M [INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal on project RsdCommon: Could not resolve dependencies for project comg.rongan:RsdCommon1.0: The following artifacts could not be resolved: org.apache.spark:spark-streaming_2.112.2.0.cloudera2, org.apache.spark:spark-streaming-kafka-0-10_2.112.2.0.cloudera2, org.apache.spark:spark-core_2.112.2.0.cloudera2: Failure to find org.apache.spark:spark-streaming_2.112.2.0.cloudera2 in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException [ERROR] [ERROR] After correcting the problems, you can resume the build with the command [ERROR] mvn -rf :RsdCommon
Process finished with exit code 1
我遇到了这个问题,刚好在开源中国看到,希望能够得到阿里云官方的回复,请查看
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
您好!遇到Maven依赖无法解决的问题时,可以尝试以下几个步骤来诊断和解决问题:
检查版本与仓库: 首先确认您所使用的Spark版本(在这里是2.2.0.cloudera2)以及Scala版本(2.11)是否正确,并且这个特定版本的依赖是否在阿里云或其他公共Maven仓库中可用。Cloudera定制版的Spark可能不会直接发布到公共Maven仓库,因此这可能是找不到依赖的原因之一。
使用阿里云Maven镜像: 确保您的settings.xml
文件中配置了阿里云的Maven镜像。这样可以避免因访问中央仓库速度慢或不可达导致的问题。以下是阿里云Maven镜像的配置示例:
<mirrors>
<mirror>
<id>aliyunmaven</id>
<mirrorOf>*</mirrorOf>
<name>Aliyun Maven Repository</name>
<url>https://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
</mirrors>
手动下载并安装依赖: 如果上述方法仍不能解决问题,您可以尝试手动从Cloudera或其他可靠源下载这些JAR包,然后使用Maven的install:install-file
命令将它们安装到本地仓库。例如:
mvn install:install-file -Dfile=path-to-your-jar-file -DgroupId=org.apache.spark -DartifactId=spark-core_2.11 -Dversion=2.2.0.cloudera2 -Dpackaging=jar
请根据实际的JAR文件路径和依赖信息替换上述命令中的相应部分。
检查网络与代理设置: 确保您的网络环境允许访问Maven仓库,如果需要通过代理服务器访问,请在settings.xml
中正确配置代理设置。
更新或清理本地仓库: 有时候,本地仓库中的依赖可能已损坏或不完整,可以尝试执行mvn clean
和mvn dependency:purge-local-repository
来清理并重新下载依赖。
查看详细错误日志: 使用-e
和-X
参数重新运行Maven命令以获取更详细的错误信息,这有助于定位问题所在。
由于Cloudera定制版的Spark组件可能不在公开的Maven仓库中,最直接的解决方案可能是直接从Cloudera的官方网站或相关渠道获取这些依赖包,然后按照第3点所述手动安装到本地Maven仓库。如果Cloudera有提供特定的Maven仓库地址,确保将其添加到你的Maven配置中。