开发者社区 问答 正文

这个spark-streamin几个 maven的 文件找不到,报错了,阿里云镜像都没有

这个spark-streamin几个 maven的  文件找不到,报错了,阿里云镜像都没有
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.2.0.cloudera2</version>
    <scope>compile</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>2.2.0.cloudera2</version>
    <scope>compile</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.2.0.cloudera2</version>
    <scope>compile</scope>
</dependency>

[WARNING] The POM for org.apache.spark:spark-streaming_2.112.2.0.cloudera2 is missing, no dependency information available [WARNING] The POM for org.apache.spark:spark-streaming-kafka-0-10_2.112.2.0.cloudera2 is missing, no dependency information available [WARNING] The POM for org.apache.spark:spark-core_2.112.2.0.cloudera2 is missing, no dependency information available

[INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 7.896 s [INFO] Finished at: 2020-02-22T16:15:19+08:00 [INFO] Final Memory: 27M/266M [INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal on project RsdCommon: Could not resolve dependencies for project comg.rongan:RsdCommon1.0: The following artifacts could not be resolved: org.apache.spark:spark-streaming_2.112.2.0.cloudera2, org.apache.spark:spark-streaming-kafka-0-10_2.112.2.0.cloudera2, org.apache.spark:spark-core_2.112.2.0.cloudera2: Failure to find org.apache.spark:spark-streaming_2.112.2.0.cloudera2 in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException [ERROR] [ERROR] After correcting the problems, you can resume the build with the command [ERROR] mvn -rf :RsdCommon

Process finished with exit code 1

我遇到了这个问题,刚好在开源中国看到,希望能够得到阿里云官方的回复,请查看

展开
收起
因为相信,所以看见。 2020-05-23 11:54:14 633 分享 版权
阿里云 AI 助理回答

您好!遇到Maven依赖无法解决的问题时,可以尝试以下几个步骤来诊断和解决问题:

  1. 检查版本与仓库: 首先确认您所使用的Spark版本(在这里是2.2.0.cloudera2)以及Scala版本(2.11)是否正确,并且这个特定版本的依赖是否在阿里云或其他公共Maven仓库中可用。Cloudera定制版的Spark可能不会直接发布到公共Maven仓库,因此这可能是找不到依赖的原因之一。

  2. 使用阿里云Maven镜像: 确保您的settings.xml文件中配置了阿里云的Maven镜像。这样可以避免因访问中央仓库速度慢或不可达导致的问题。以下是阿里云Maven镜像的配置示例:

    <mirrors>
       <mirror>
           <id>aliyunmaven</id>
           <mirrorOf>*</mirrorOf>
           <name>Aliyun Maven Repository</name>
           <url>https://maven.aliyun.com/nexus/content/groups/public/</url>
       </mirror>
    </mirrors>
    
  3. 手动下载并安装依赖: 如果上述方法仍不能解决问题,您可以尝试手动从Cloudera或其他可靠源下载这些JAR包,然后使用Maven的install:install-file命令将它们安装到本地仓库。例如:

    mvn install:install-file -Dfile=path-to-your-jar-file -DgroupId=org.apache.spark -DartifactId=spark-core_2.11 -Dversion=2.2.0.cloudera2 -Dpackaging=jar
    

    请根据实际的JAR文件路径和依赖信息替换上述命令中的相应部分。

  4. 检查网络与代理设置: 确保您的网络环境允许访问Maven仓库,如果需要通过代理服务器访问,请在settings.xml中正确配置代理设置。

  5. 更新或清理本地仓库: 有时候,本地仓库中的依赖可能已损坏或不完整,可以尝试执行mvn cleanmvn dependency:purge-local-repository来清理并重新下载依赖。

  6. 查看详细错误日志: 使用-e-X参数重新运行Maven命令以获取更详细的错误信息,这有助于定位问题所在。

由于Cloudera定制版的Spark组件可能不在公开的Maven仓库中,最直接的解决方案可能是直接从Cloudera的官方网站或相关渠道获取这些依赖包,然后按照第3点所述手动安装到本地Maven仓库。如果Cloudera有提供特定的Maven仓库地址,确保将其添加到你的Maven配置中。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答