Jupyter上的pyspark内核生成“未找到spark”错误-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Jupyter上的pyspark内核生成“未找到spark”错误

社区小助手 2018-12-12 14:14:48 908

我有几个pyspark内核jupyter笔记本已经工作了几个月 - 但最近不再工作了。在pyspark本身工作的内核:它提供了蓝色的消息:

Kernel Loaded

..我们可以看到内核可用:

在此处输入图像描述

但我在jupyter日志中注意到了这一点:

[IPKernelApp]警告| 处理PYTHONSTARTUP文件/shared/spark/python/pyspark/shell.py时出现未知错误:

当我们尝试做一些工作时,spark我们得到:

---> 18 df = spark.read.parquet(path)

 19     if count: p(tname + ": count="+str(df.count()))
 20     df.createOrReplaceTempView(tname)

NameError: name 'spark' is not defined
没有进一步的信息。

注意:使用的scalaspark内核toree能够通过镶木板成功读取同一个文件(并实际使用相同的代码)

那么jupyter pyspark内核可能会发生什么呢?

分布式计算 Spark Python
分享到
取消 提交回答
全部回答(1)
  • khachapuri
    2019-07-17 23:20:11

    确定运行 jupyter notebook 的 Python 环境正确 import 了 pyspark 。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题