我有几个pyspark内核jupyter笔记本已经工作了几个月 - 但最近不再工作了。在pyspark本身工作的内核:它提供了蓝色的消息:
Kernel Loaded
..我们可以看到内核可用:
在此处输入图像描述
但我在jupyter日志中注意到了这一点:
[IPKernelApp]警告| 处理PYTHONSTARTUP文件/shared/spark/python/pyspark/shell.py时出现未知错误:
当我们尝试做一些工作时,spark我们得到:
---> 18 df = spark.read.parquet(path)
19 if count: p(tname + ": count="+str(df.count()))
20 df.createOrReplaceTempView(tname)
NameError: name 'spark' is not defined
没有进一步的信息。
注意:使用的scalaspark内核toree能够通过镶木板成功读取同一个文件(并实际使用相同的代码)
那么jupyter pyspark内核可能会发生什么呢?
大数据计算实践乐园,近距离学习前沿技术