开发者社区> 问答> 正文

无法使用Spark在Datastax上初始化图形

社区小助手 2019-01-02 15:15:02 336

我正在尝试使用Spark初始化我的Datastax图,如下所示:

val graphBuilder = spark.dseGraph("GRAPH_NAME")
但我有以下例外:

Exception in thread "main" java.lang.NoClassDefFoundError: com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl
at com.datastax.bdp.graph.spark.graphframe.DseGraphFrameBuilder$.apply(DseGraphFrameBuilder.scala:257)
at com.datastax.bdp.graph.spark.graphframe.SparkSessionFunctions.dseGraph(SparkSessionFunctions.scala:20)
我搜索包含com/datastax/bdp/graph/impl但未找到它的dataxtax jar 。

分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:24:25

    要在运行在外部Spark上的程序中使用DseGraphFrames,您需要链接所谓的BYOS jar。这可以按照以下方式完成(对于Maven):


    com.datastax.dse
    dse-byos_2.11
    6.0.4

    并添加DataStax存储库:

    <repository>
      <id>DataStax-Repo</id>
      <url>https://repo.datastax.com/public-repos/</url>
    </repository>


    如果你检查从DataStax存储库获取的jar,它包含必要的文件:

    unzip -l dse-byos_2.11-6.0.4.jar|grep AbstractVertexIdExternalImpl

     2839  10-06-2018 15:22   com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl.class
    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题