开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段):Zeppelin_解释器配置】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/682/detail/11848
Zeppelin_解释器配置
内容介绍:
一、如何配置 Spark 解释器
二、如何安装 markdown 解释器
一、如何配置 Spark 解释器
Zeppelin 其实就是一个网站,简单来说Zeppelin 从根本上来看是一个笔记工具,是一个全功能的多用途的笔记工具。所以最终目的是在 Zeppelin 的笔记中编写 Spark 代码,这样就需要去配置 Spark 解释器。
在配置 Spark 解释器之后还是希望编写一些笔记,但是基础版本的Zeppelin当中并没有 markdown 解释器的集成,所以需要安装markdown 解释器。
第一件事就是如何配置 Spark 解释器,首先打开 Zeppelin 的主页面,找到右上角的 admin 选中 interpreter,interpreter 的界面列出来就是现在所有的解释器,和之前说的一样一个叫做python一个叫做 spark。
Python 不需要修改,spark 需要修改。
可以看到 spark 默认的解释器在 local[*] 上,既然现在已经使用了 Zeppelin 还使用了本地区运行,这样会有一点的不高级。我们可以改成 spark 自己的服务器,也可以使用 yarn,使用 yarn 能更好的利用集权资源。Spark 经常和 yarn 一起来做。
如果这样local[*]
可以改为 yarn,改成 yarn 之后还需要新增一个配置包括spark.cores.max
(最大的CPU数)和
spark.executor.memory
(每个executor所占内存的数量)也尽量去改变一下参数。
接下来点击 edit 来进行相应的改造,可以看到展示的 text(文本)应经变成了输入框,首先要改的是 master,将 local[*]
改为yarn。前面说过如果使用 yarn 的话要通过 deployModel 来指定drive是在客户端运行还是在yarn当中运行。接下来改spark.cores.max
改CPU非常简单使用最多四个 CPU,每个 executor 使用1g的内存。
deployModel 配置,可以将页面下滑到最下方,选中增加一个string,在空白的输入框输入deployModel 的参数名叫做spark.submit.deployModel
,指定在 cluster 当中运行。
这时点击“+”这样就增加了一个 deployModel 的参数,在页面的最后点击 save 保存 interpreter。保存之后需要去重启 interpreter ,点击restart 就可以重启。
Interpreter就是一个解释器,其实是运行在一个独立进程中的,所以可以使用 restart 进行相应的启动。这样就完成了第一步。
二、如何安装 markdown 解释器
第一步完成之后需要去安装 markdown 解释器
首先第一步进入到窗口当中,接下来点开笔记滑动到最下方这时可以看到一个警示条./bin/install-interpreter.sh --name“md”--artifact org.apache.zeppelin:zeppelin-markdown:0.8.0
有安装的步骤,通过命令可以进行安装 markdown 解释器。
非常简单在 zeppelin 目录下直接 paste(粘贴)过来将./bin/install-interpreter.sh --name“md”--artifact org.apache.zeppelin:zeppelin-markdown:0.8.0
。在粘贴过来之后就是使用bin目录下的install-interpreter,然后不要忘记name(名字)一定要指定为“md”,artifact就是它的位置。这时可以运行命令,等待下载下载速度很快。
下载好之后第一步 Restart Zeppelin(重启Zeppelin),第二步Create interpreter setting in ‘Interpreter’ menu on Zeppelin GUI
(创建一个新的解释器)
先开始第一步输入./bin/zeppelin-daemon.sh restart
,重启 Zeppelin 进程,打开 Zeppelin。重启 Zeppelin 是因为在安装 markdown 插件的时候,安装 markdown 解释器的时候必须要先进行重启。
然后点击 Login 重新登陆,登陆完之后点击 admin 选择 Interpreters,在 Interpreter 页面当中点击 create,点击之后先去指定 Interpreter Name“md” 一定要安装的名字一致,不一致会出现问题。
接下来指定 Interpreter group 选中md。然后什么都无需指定,点击 save 这时 markdown 就已经创建出来了,创建出来之后点击 restart 重启。