Zeppelin_使用笔记| 学习笔记

简介: 快速学习 Zeppelin_使用笔记

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)Zeppelin_使用笔记】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11849


Zeppelin_使用笔记

编写笔记

编写笔记本身是 Zeppelin 的核心功能,这也是最重要的一部分,一定要去理解什是笔记,以及笔记如何去使用。

进入到 Zeppelin 的主界面当中,进入到主界面当中以后,点击 notebook,然后create new note 创建一个新的笔记。

image.png

笔记可以这样去设置,可以去设置为比如说一个/,然后里面写上比如说为/intro/first,前面路径写的是目录,现在创建一个笔记,笔记放在一个叫做 intro的目录下,创建的笔记的名字叫做1first,即第1个入门案例。

接下来可以指定默认的interpreter,一般情况下还是指定为MD比较合适,点击creat 就可以创建出来一个笔记。

创建出来笔记以后能看到界面大致分为几个部分。第一部分是名字,名字是可以更改的,可以直接点击一下,然后进行修改。

image.png

第二部分是工具条,工具条里面第一个按钮是运行所有,后面还有删除。

笔记的组成单位其实是一个段,一个段是笔记里面的一个行。可以去选择去运行一个段,虽然笔记名字叫做笔记,但其实笔记包含了很多代码上的功能,

界面如果感觉比较小,可以按下 control 键,然后向下滑动滚轮去放大界面。通过%MD 来去指定当前段所使用的解释器是markdown。在每一行上尽量都要先指定的解释器是什么。指定完可以写# hello”# helloMark down 的一个标题语法。然后继续写list item 1,list item 2,list item 3 ,它还是有一些微弱的代码补全的功能。注意到以上写的其实是Mark down的语法,但是如果想看到Mark down本身运行过的样子可以按住shift按下回车键它就运行出来结果。

image.png

这其实一个正常的markdown展示出来的带样式的一个效果,这是的 Mark down

假如说想编写spark的代码,可以指定为%spark,指定spark以后,比如说做一个非常简单的工作,首先有一点需要声明的是本地方所使用的spark和在sparkshell当中是一样的,他会默认地给提供一个speak变量。通过变量就可以创建出来一个datasight,同时,也可以去import spark.implicits._,接下来通过seq指定几个元组,例如:seq(("zhangsan"10)( "lisi"20)) .to DS/to DF( ),指定它转为一个data frame,这时候你data frame分为两个列,第一个列是内部列,然后第二个链是的age列,然后接下来,就得到valDS

拿到 DS 以后,就可以另起一行通过 DS show,通过 show 直接显示出来结果,依然按下shift+回车,然后等待它的执行。

最后的代码为:

%spark

import spark .implicits._

val ds = Seq(("zhangsan" 10)("lisi", 20) ).toDF( "name", "age")

ds .showl( )

image.png

执行效效率会稍微有一点点低,但是也很快的获取到了结果,以上是spark的代码编写。

其实还可以编写python代码,指定%python,然后输入a=10B=20print(a+b),接下来去运行代码,能看到 Python 代码的运行,速度会稍微有一点点慢。

刚好遇到了一个问题,有的时候解释器本身可能会出现一些问题,出现问题以后该如何解决解释器的问题?不可能让用户一直去等待,可以在标题栏里面的interpreter binding

点一下 binding 能看到在笔记当中绑定了三个显示器

image.png

可以点击 restart,直接去重启一下 Python 的解释器,这段 Python 代码之所以没有办法运行,原因可能是因为服务器当中没有Python的解释器,所以就会出现这种问题。重启一下解释器,看到如何解决解释器的问题。

 image.png

这时可以去删除掉的这一个 record,点击 remove 可以删除掉。

以上就是 Zeppelin 产品的使用,包括怎去解决问题,包括如何运行 spark 的代码等等,希望能够简单了解 Zeppelin 如何使用。

再接下来在 BMP 项目当中,就要去使用Zeppelin来完成一部分的功能,具体的比如说图表绘制等等的功能会在BMP当中再进行介绍。

相关文章
|
8月前
|
SQL 分布式计算 数据可视化
Apache Zeppelin系列教程第一篇——安装和使用
Apache Zeppelin系列教程第一篇——安装和使用
400 0
|
8月前
|
SQL 缓存 分布式计算
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
163 0
|
SQL 存储 分布式计算
手把手教学hive on spark,还不会的小伙伴快上车了
Hive3.1.2源码编译+Spark3.0.0+Hadoop3.1.3
470 0
|
分布式计算 资源调度 Hadoop
Hadoop课程大纲
Hadoop课程大纲
84 0
|
SQL 分布式计算 关系型数据库
Sqoop笔记
Sqoop笔记
188 0
Sqoop笔记
|
SQL 分布式计算 Hadoop
HIve安装踩坑手册
HIve安装踩坑手册
356 0
|
数据采集 Oracle 关系型数据库
Kettle入门(一)
Kettle入门(一)
427 0
Kettle入门(一)
|
分布式计算 自然语言处理 数据可视化
Zeppelin_功能| 学习笔记
快速学习 Zeppelin_功能
Zeppelin_功能| 学习笔记
|
分布式计算 Java 数据安全/隐私保护
Zeppelin_安装_配置| 学习笔记
快速学习 Zeppelin_安装_配置
Zeppelin_安装_配置| 学习笔记
|
SQL 分布式计算 数据可视化
Zeppelin_可视化| 学习笔记
快速学习 Zeppelin_可视化
Zeppelin_可视化| 学习笔记