开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段):Zeppelin_使用笔记】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/682/detail/11849
Zeppelin_使用笔记
编写笔记
编写笔记本身是 Zeppelin 的核心功能,这也是最重要的一部分,一定要去理解什是笔记,以及笔记如何去使用。
进入到 Zeppelin 的主界面当中,进入到主界面当中以后,点击 notebook,然后create new note 创建一个新的笔记。
笔记可以这样去设置,可以去设置为比如说一个/,然后里面写上比如说为/intro/first,前面路径写的是目录,现在创建一个笔记,笔记放在一个叫做 intro的目录下,创建的笔记的名字叫做1first,即第1个入门案例。
接下来可以指定默认的interpreter,一般情况下还是指定为MD比较合适,点击creat 就可以创建出来一个笔记。
创建出来笔记以后能看到界面大致分为几个部分。第一部分是名字,名字是可以更改的,可以直接点击一下,然后进行修改。
第二部分是工具条,工具条里面第一个按钮是运行所有,后面还有删除。
笔记的组成单位其实是一个段,一个段是笔记里面的一个行。可以去选择去运行一个段,虽然笔记名字叫做笔记,但其实笔记包含了很多代码上的功能,
界面如果感觉比较小,可以按下 control 键,然后向下滑动滚轮去放大界面。通过%MD 来去指定当前段所使用的解释器是markdown。在每一行上尽量都要先指定的解释器是什么。指定完可以写”# hello”,# hello
是 Mark down 的一个标题语法。然后继续写list item 1,list item 2,,list item 3
,它还是有一些微弱的代码补全的功能。注意到以上写的其实是Mark down的语法,但是如果想看到Mark down本身运行过的样子可以按住shift按下回车键它就运行出来结果。
这其实一个正常的markdown展示出来的带样式的一个效果,这是的 Mark down。
假如说想编写spark的代码,可以指定为%spark,指定spark以后,比如说做一个非常简单的工作,首先有一点需要声明的是本地方所使用的spark和在sparkshell当中是一样的,他会默认地给提供一个speak变量。通过变量就可以创建出来一个datasight,同时,也可以去import spark.implicits._
,接下来通过seq指定几个元组,例如:seq(("zhangsan",10),( "lisi",20)) .to DS/to DF( )
,指定它转为一个data frame,这时候你data frame分为两个列,第一个列是内部列,然后第二个链是的age列,然后接下来,就得到val和DS。
拿到 DS 以后,就可以另起一行通过 DS show,通过 show 直接显示出来结果,依然按下shift+回车,然后等待它的执行。
最后的代码为:
%spark
import spark .implicits._
val ds = Seq(("zhangsan"
, 10),("lisi", 20) ).toDF( "name", "age")
ds .showl( )
执行效效率会稍微有一点点低,但是也很快的获取到了结果,以上是spark的代码编写。
其实还可以编写python代码,指定%python
,然后输入a=10,B=20,print(a+b),接下来去运行代码,能看到 Python 代码的运行,速度会稍微有一点点慢。
刚好遇到了一个问题,有的时候解释器本身可能会出现一些问题,出现问题以后该如何解决解释器的问题?不可能让用户一直去等待,可以在标题栏里面的interpreter binding
点一下 binding 能看到在笔记当中绑定了三个显示器
可以点击 restart,直接去重启一下 Python 的解释器,这段 Python 代码之所以没有办法运行,原因可能是因为服务器当中没有Python的解释器,所以就会出现这种问题。重启一下解释器,看到如何解决解释器的问题。
这时可以去删除掉的这一个 record,点击 remove 可以删除掉。
以上就是 Zeppelin 产品的使用,包括怎去解决问题,包括如何运行 spark 的代码等等,希望能够简单了解 Zeppelin 如何使用。
再接下来在 BMP 项目当中,就要去使用Zeppelin来完成一部分的功能,具体的比如说图表绘制等等的功能会在BMP当中再进行介绍。