Zeppelin_使用笔记| 学习笔记

简介: 快速学习 Zeppelin_使用笔记

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)Zeppelin_使用笔记】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11849


Zeppelin_使用笔记

编写笔记

编写笔记本身是 Zeppelin 的核心功能,这也是最重要的一部分,一定要去理解什是笔记,以及笔记如何去使用。

进入到 Zeppelin 的主界面当中,进入到主界面当中以后,点击 notebook,然后create new note 创建一个新的笔记。

image.png

笔记可以这样去设置,可以去设置为比如说一个/,然后里面写上比如说为/intro/first,前面路径写的是目录,现在创建一个笔记,笔记放在一个叫做 intro的目录下,创建的笔记的名字叫做1first,即第1个入门案例。

接下来可以指定默认的interpreter,一般情况下还是指定为MD比较合适,点击creat 就可以创建出来一个笔记。

创建出来笔记以后能看到界面大致分为几个部分。第一部分是名字,名字是可以更改的,可以直接点击一下,然后进行修改。

image.png

第二部分是工具条,工具条里面第一个按钮是运行所有,后面还有删除。

笔记的组成单位其实是一个段,一个段是笔记里面的一个行。可以去选择去运行一个段,虽然笔记名字叫做笔记,但其实笔记包含了很多代码上的功能,

界面如果感觉比较小,可以按下 control 键,然后向下滑动滚轮去放大界面。通过%MD 来去指定当前段所使用的解释器是markdown。在每一行上尽量都要先指定的解释器是什么。指定完可以写# hello”# helloMark down 的一个标题语法。然后继续写list item 1,list item 2,list item 3 ,它还是有一些微弱的代码补全的功能。注意到以上写的其实是Mark down的语法,但是如果想看到Mark down本身运行过的样子可以按住shift按下回车键它就运行出来结果。

image.png

这其实一个正常的markdown展示出来的带样式的一个效果,这是的 Mark down

假如说想编写spark的代码,可以指定为%spark,指定spark以后,比如说做一个非常简单的工作,首先有一点需要声明的是本地方所使用的spark和在sparkshell当中是一样的,他会默认地给提供一个speak变量。通过变量就可以创建出来一个datasight,同时,也可以去import spark.implicits._,接下来通过seq指定几个元组,例如:seq(("zhangsan"10)( "lisi"20)) .to DS/to DF( ),指定它转为一个data frame,这时候你data frame分为两个列,第一个列是内部列,然后第二个链是的age列,然后接下来,就得到valDS

拿到 DS 以后,就可以另起一行通过 DS show,通过 show 直接显示出来结果,依然按下shift+回车,然后等待它的执行。

最后的代码为:

%spark

import spark .implicits._

val ds = Seq(("zhangsan" 10)("lisi", 20) ).toDF( "name", "age")

ds .showl( )

image.png

执行效效率会稍微有一点点低,但是也很快的获取到了结果,以上是spark的代码编写。

其实还可以编写python代码,指定%python,然后输入a=10B=20print(a+b),接下来去运行代码,能看到 Python 代码的运行,速度会稍微有一点点慢。

刚好遇到了一个问题,有的时候解释器本身可能会出现一些问题,出现问题以后该如何解决解释器的问题?不可能让用户一直去等待,可以在标题栏里面的interpreter binding

点一下 binding 能看到在笔记当中绑定了三个显示器

image.png

可以点击 restart,直接去重启一下 Python 的解释器,这段 Python 代码之所以没有办法运行,原因可能是因为服务器当中没有Python的解释器,所以就会出现这种问题。重启一下解释器,看到如何解决解释器的问题。

 image.png

这时可以去删除掉的这一个 record,点击 remove 可以删除掉。

以上就是 Zeppelin 产品的使用,包括怎去解决问题,包括如何运行 spark 的代码等等,希望能够简单了解 Zeppelin 如何使用。

再接下来在 BMP 项目当中,就要去使用Zeppelin来完成一部分的功能,具体的比如说图表绘制等等的功能会在BMP当中再进行介绍。

相关文章
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
593 1
|
JSON 编解码 网络协议
记一次Logstash日志丢失问题
大量的json解析错误,根据日志情况分析,原因是日志数据传输到logstash之后被截断成了多条数据,于是有的数据就解析异常了,自然无法正常到归集到es的索引文档中。
|
12月前
|
JavaScript 前端开发
判断对象是否含有改属性,三个方法
JavaScript中判断对象是否包含属性的三种方法:1. 使用`'property' in object`检查自有属性和继承属性;2. 使用`object.hasOwnProperty('property')`仅检查自有属性;3. 使用`if (object.property)`判断,但返回属性值。
128 2
判断对象是否含有改属性,三个方法
|
8月前
|
JavaScript 前端开发 测试技术
盘点原生JavaScript中直接触发事件的方式
本文全面探讨了原生JavaScript中触发事件的多种方式,包括`dispatchEvent`、`Event`构造函数、`CustomEvent`构造器、直接调用事件处理器以及过时的`createEvent`和`initEvent`方法。通过技术案例分析,如模拟点击事件、派发自定义数据加载事件和实现提示框系统,帮助开发者掌握这些方法在实际开发中的应用,提升灵活性与兼容性。
226 3
|
XML Java 数据格式
Spring框架入门:IoC与DI
【5月更文挑战第15天】本文介绍了Spring框架的核心特性——IoC(控制反转)和DI(依赖注入)。IoC通过将对象的创建和依赖关系管理交给容器,实现解耦。DI作为IoC的实现方式,允许外部注入依赖对象。文章讨论了过度依赖容器、配置复杂度等常见问题,并提出通过合理划分配置、使用注解简化管理等解决策略。同时,提醒开发者注意过度依赖注入和循环依赖,建议适度使用构造器注入和避免循环引用。通过代码示例展示了注解实现DI和配置类的使用。掌握IoC和DI能提升应用的灵活性和可维护性,实践中的反思和优化至关重要。
656 4
|
10月前
|
存储 前端开发 数据处理
ArkTS 常用状态管理:深入理解与实践
在HarmonyOS应用开发中,ArkTS的状态管理机制是构建响应式应用的核心。本文详细介绍了ArkTS中的状态管理,包括@State、@Prop、@Link、@Provide和@Consume等装饰器的使用及其在实际开发中的应用和最佳实践。通过这些装饰器,开发者可以实现组件内状态管理、父子组件单向和双向同步、跨组件层级状态同步等功能,从而提高应用的可维护性、可扩展性和性能。
540 1
|
存储 SQL 关系型数据库
StarRocks 【新一代MPP数据库】(2)
StarRocks 【新一代MPP数据库】
|
存储 数据库 Android开发
StarRocks 【新一代MPP数据库】(3)
StarRocks 【新一代MPP数据库】
|
数据采集 运维 监控
DataphinV4.0来啦:自定义全局角色 ,实时研发覆盖全部署场景,个性化企业配置看本期
本次V4.0版本升级,Dataphin支持自定义全局角色、自定义逻辑表命名规范、Flink on K8s的部署模式,提升企业级适配能力,灵活匹配企业特色;将集成任务快速从组件模式切换为脚本模式、支持外部触发类型节点等,提升研发平台易用性,助力高效开发便捷运维。
91483 1
|
机器学习/深度学习 Ubuntu Linux
如何在Ubuntu 23.10部署KVM并创建虚拟机?
如何在Ubuntu 23.10部署KVM并创建虚拟机?