Zeppelin_解释器配置| 学习笔记

简介: 快速学习 Zeppelin_解释器配置

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)Zeppelin_解释器配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11848


Zeppelin_解释器配置

内容介绍:

一、如何配置 Spark 解释器

二、如何安装 markdown 解释器

 

一、如何配置 Spark 解释器

Zeppelin 其实就是一个网站,简单来说Zeppelin 从根本上来看是一个笔记工具,是一个全功能的多用途的笔记工具。所以最终目的是在 Zeppelin 的笔记中编写 Spark 代码,这样就需要去配置 Spark 解释器。

在配置 Spark 解释器之后还是希望编写一些笔记,但是基础版本的Zeppelin当中并没有 markdown 解释器的集成,所以需要安装markdown 解释器。

第一件事就是如何配置 Spark 解释器,首先打开 Zeppelin 的主页面,找到右上角的 admin 选中 interpreterinterpreter 的界面列出来就是现在所有的解释器,和之前说的一样一个叫做python一个叫做 spark

image.png

Python 不需要修改,spark 需要修改。

可以看到 spark 默认的解释器在 local[*] 上,既然现在已经使用了 Zeppelin 还使用了本地区运行,这样会有一点的不高级。我们可以改成 spark 自己的服务器,也可以使用 yarn,使用 yarn 能更好的利用集权资源。Spark 经常和 yarn 一起来做。

如果这样local[*] 可以改为 yarn,改成 yarn 之后还需要新增一个配置包括spark.cores.max(最大的CPU)

spark.executor.memory(每个executor所占内存的数量)也尽量去改变一下参数。

接下来点击 edit 来进行相应的改造,可以看到展示的 text(文本)应经变成了输入框,首先要改的是 master,将 local[*]改为yarn。前面说过如果使用 yarn 的话要通过 deployModel 来指定drive是在客户端运行还是在yarn当中运行。接下来改spark.cores.maxCPU非常简单使用最多四个 CPU,每个 executor 使用1g的内存。

image.png

deployModel 配置,可以将页面下滑到最下方,选中增加一个string,在空白的输入框输入deployModel 的参数名叫做spark.submit.deployModel,指定在 cluster 当中运行。

这时点击“+”这样就增加了一个 deployModel 的参数,在页面的最后点击 save 保存 interpreter。保存之后需要去重启  interpreter ,点击restart 就可以重启。

Interpreter就是一个解释器,其实是运行在一个独立进程中的,所以可以使用 restart 进行相应的启动。这样就完成了第一步。

 

二、如何安装 markdown 解释器

第一步完成之后需要去安装 markdown 解释器

首先第一步进入到窗口当中,接下来点开笔记滑动到最下方这时可以看到一个警示条./bin/install-interpreter.sh --namemd--artifact org.apache.zeppelinzeppelin-markdown:0.8.0有安装的步骤,通过命令可以进行安装 markdown 解释器。

image.png

非常简单在 zeppelin 目录下直接 paste(粘贴)过来将./bin/install-interpreter.sh --namemd--artifact org.apache.zeppelinzeppelin-markdown:0.8.0。在粘贴过来之后就是使用bin目录下的install-interpreter,然后不要忘记name(名字)一定要指定为“md”,artifact就是它的位置。这时可以运行命令,等待下载下载速度很快。

下载好之后第一步 Restart Zeppelin(重启Zeppelin),第二步Create interpreter setting in Interpreter menu on Zeppelin GUI(创建一个新的解释器)

image.png

先开始第一步输入./bin/zeppelin-daemon.sh restart,重启 Zeppelin 进程,打开 Zeppelin。重启 Zeppelin 是因为在安装 markdown 插件的时候,安装 markdown 解释器的时候必须要先进行重启。

image.png

然后点击 Login 重新登陆,登陆完之后点击 admin 选择 Interpreters,在 Interpreter 页面当中点击 create,点击之后先去指定 Interpreter Namemd” 一定要安装的名字一致,不一致会出现问题。

接下来指定 Interpreter group 选中md。然后什么都无需指定,点击 save 这时 markdown 就已经创建出来了,创建出来之后点击 restart 重启。

相关文章
|
SQL 分布式计算 数据管理
12款开源数据资产(元数据)管理平台选型分析(一)
12款开源数据资产(元数据)管理平台选型分析(一)
3979 2
|
缓存 关系型数据库 MySQL
centos7 安装指定版本的mysql8.0
centos7 安装指定版本的mysql8.0
1877 2
|
3月前
|
人工智能 安全 Cloud Native
Nacos 3.0 架构全景解读,AI 时代服务注册中心的演进
Nacos 3.0 正式发布,定位升级为“一个易于构建 AI Agent 应用的动态服务发现、配置管理和 AI 智能体管理平台”。架构上强化了安全性,引入零信任机制,并支持 MCP 服务管理、AI Registry 等新特性,助力 AI 应用高效开发与运行。
|
10月前
|
存储 搜索推荐 算法
【数据结构】树型结构详解 + 堆的实现(c语言)(附源码)
本文介绍了树和二叉树的基本概念及结构,重点讲解了堆这一重要的数据结构。堆是一种特殊的完全二叉树,常用于实现优先队列和高效的排序算法(如堆排序)。文章详细描述了堆的性质、存储方式及其实现方法,包括插入、删除和取堆顶数据等操作的具体实现。通过这些内容,读者可以全面了解堆的原理和应用。
371 16
|
安全 网络协议 关系型数据库
firewalld 详细介绍配置(一)
【8月更文挑战第10天】FirewallD是一款动态防火墙管理工具,通过网络区域(zone)定义接口的安全级别。与iptables需重载全部规则相比,FirewallD仅更新变动部分,更高效。它利用iptables作为规则管理入口,自身不具防火墙功能,依赖内核的netfilter实现。区域(zone)代表一组过滤规则,不同区域默认行为各异,如public、work等。服务配置则以人性化名称管理端口,简化规则管理。常用命令包括安装、启动、停止及查询状态等。
173 4
|
监控 持续交付 开发工具
软件配置管理与知识库管理实践
【8月更文第22天】软件配置管理(SCM)是在软件开发过程中为了确保项目的可追溯性和可控性而实施的一系列管理活动。它涵盖了版本控制、变更控制、发布管理和知识库管理等多个方面。本文将详细介绍这些关键领域的实践方法,并通过一个虚构的软件项目——“云笔记”应用程序为例来进行说明。
467 1
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
Python
Python 的编码规范和最佳实践: 解释 Python 的文档字符串(docstring)是什么?如何编写好的文档字符串?
【4月更文挑战第16天】Python docstrings是注释,用于说明代码功能。放置于对象定义前,用三引号包围。遵循PEP 257,使用reStructuredText格式,确保简洁、完整、准确。例如: ```markdown ```python def add(a, b): """ 计算两数之和。 参数: a -- 第一加数 b -- 第二加数 返回: 和 """ return a + b ``` ```
335 0
|
XML Java 程序员
Java一分钟之-AOP:面向切面编程
【6月更文挑战第13天】Java中的AOP允许程序员定义切面,将日志、事务等通用功能与业务逻辑解耦。切面包括通知(Advice,如前置、后置等)和切入点(Pointcut,定义执行点)。Spring框架通过代理和@AspectJ注解支持AOP。常见问题包括代理对象理解错误、切入点表达式错误、环绕通知处理不当和配置遗漏。理解和实践中,AOP能提升代码可维护性和可扩展性。
454 5
|
运维 监控 数据可视化
平台式可复用的应用集成能力,助您敏捷、高效的完成企业数字化转型
企业数字化转型往往是一个长期持续的过程,产品变革和技术迭代也在加速演进,连接性是数字化转型的关键推动因素,甚至将决定成败。为了应对普遍的集成要求,企业需要新一代更敏捷的集成能力框架,基于高效的连接,盘活企业的数据和业务资产,实现业务数据化,并进一步引领到智能化的进阶演进。
2547 89
平台式可复用的应用集成能力,助您敏捷、高效的完成企业数字化转型