Apache Zeppelin(二)| 学习笔记

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 快速学习 Apache Zeppelin。

开发者学堂课程【Apache Flink 入门到实战 - Flink 开源社区出品 Apache Zeppelin(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/632/detail/10038


Apache Zeppelin(二)


四,Notebook Storage

就是存储写的那些代码,那些 note 那些 paragraph 都要振作起来,本身notebook 它支持就是说各种各样的存储系统,一种比如说是 local prices 或者是也可以 HDFS 或者是一些云存储也是可以的。然后第四个最重要一点,比较重要的就是说他也支持就是版本控制,版本控制对一些开发人员来说也是比较重要的

 

五,Security

organization 可以简单理解为就是控制,整个的 logo 就是登录,登录到这个simply 的话,首先它是一个多住户的一个产品,可以允许多个用户 share 共享一个 cpu 的话,再用 zippo 的时候是需要登录的。登录的话会输入用户密码,所以这个就是一个如果没有登录这一层的话,就是有可能会很多人滥用这个系统。

第二个就是 organization organization 这一层主要是关于 note 的 permission,比如说如果写了一个 note,分享给别人,然后让他接下去做一些事情的时候,肯定要付给他写的权限,或那他能够继续往下写,如果有些东西是比较私密的,那这个默写之后,就只能让自己来读写,其他人是可能连读都没有这个权限。

这个就是 Note 的权限这方面的一些管理

 

六,Flink Interpreter

在C语言里面去用这个 Flint,在这里面用 Internet 主要有两个渠道,一个渠道,我们用 flink 的 scholar API 阿斯 kpi,这层的话,我们可以用两种不同 API,一种是,底层 API 就是 kpi 另外,也可以用 tabletable,除了用 scar 之外,你也可以用语言C语言,可以有两种类型,第一种叫 DML 就是全称叫dataregulation the language 数据操作员,其实就是凡是那些 select 语句,都是属于 DML,那第二就代表是 Definitionthe definition language这个就是关于一些数据定义的一些 secret。createdowntable willcreate view 这些都属于 DML 的范畴。

这块目前还不太成熟,这个就是我们在 cid 里面用 flink 的主要的几种方式。

image.png

左下角左下角这个就是最核心的一个组件首先它为大家创建了一些。就是说 flink 的入口,用 string exciting moment做streaming,然后可以用 battle environment 做 BAT 的一些工作,也可以用 stringtableenvironment 做 kpi 的一些事情。

这个 think Internet 也可以连接这个 high middayto 主要就是说如果要访问 have里面的数据,因为里面的数据是很多企业是比较常用可以通过 flink 来去访问数据,去查询数据,这样的话对本身的原来那些 Haier。查询会会应该会有一个质的提高。

notebook 这种环境其实不太适合做一些复杂的一些事情,如果要做一个工作,要设置上千行代码,不适合在 notebook 里面的,所以,如果你要写上千行的 scala 代码是不建议这么做的。

但是 SQL 是 flink circle 它是一个非常简洁,又有用的这样一个东西。如果用 API 实现一些东西,总能够找到相应的 SQL 语句,然后去实现同样的功能。

这个是搜狗它所具有的能力,但是这个本身有一些限制,他有自己的规范,不可能什么东西都让 think 来做,所以当你有些东西不能够用 think 来表达的时候,你就需要用 DF 的话,就是说 sphinx 它本身提供F的那个 interface 你只要实现它的interface 然后写一个用 SQL 语言写一个简单 ugf 就可以了。所以大部分个人经验就是说,大部分的一些工作,基本上都可以用 CTRL 加 DF 这种方式来来完成,基本上90%工作,基本上都可以通过这种方式来完成。


七,怎样在 Flink 里开发程序

1,数据查询

flink 一个多租户的一个产品,可以有多个用户一起来用,这边的配置是每个用户共享的。如果某一个用户他有自己的一些定制定制化要求的话,就可以用这种方式的,这种方式来定制。比如说我这边我可以来弄一下对,你看它这边就会有结果出来了,这个就像在我们传统 ID 里面,跑的结果,还会有一个链接告诉你这个flinkjob 的 urlurl 在哪里。

如果发生异常的时候,可以点去自己去看。一个新的概念,叫 dynamicphone,是notebook 里面特有的概念,这里有个 paragraph

2,例子

进行实验,结果出来后,这就是一个最基本的,这个就在我们传统ID里面,跑的结果,会有一个链接,可以看到,这边都已经完成了。点进去看具体的一些细节的情况。

特别是 Frank 提供的一个,更 high level 的这种 API,如果用 API 的话,要首先要创建一张 table那创建 table 就是用这样的 API这个是时间已经创建好的这样一个环境变量。

比如执行一下这个比较快的,因为他并没有去跑,另外一种情况就是我们要写 SQL语句来去查询数据,接下来,写完之后可以去跑了,如果它跳出来了,说明这个脚本已经起来了,这边有个进度,跑完之后可以看到,这边他有这边是用柱状图来显示。这个就是有很多不同的可视化方法,那这就是我们的那个 flink 里面的notebook 里面就可视化的一些方式。

下一个例子叫 dynamicphone,是 notebook 里面特有的概念,他是 registered 一个新的 table 我已经去 read 一个文件,然后 table 名字就叫 bank 银行,其实就是这个数据源半个点。

跑完之后,这边就像 Frank 的就是一条语句,现在写这个语句做查询了,现在已经有了一张 table 数据了,那我现在去查询。

首先点一下,然后它就可以查询了,这边有一个比较特殊情况,看到这边一个Dollar 然后里面 max 就等于30。这个是代表可以去写,可以去让某个字段或某个变量可以去用一种 dynamic phone 的方式来定制化,其实这种方式就是对应的一个文本框,如果一开始文本框里什么都不写,那默认值就是30,改掉之后,它就会重新去跑。

所以这种方式的话是特别适合共享给别人,别人可以在这个上面自己来做一些操作,然后去做一些定制化的查询。所以这个 notebook 本质上也可以作为一个,像Facebook、像仪表盘这样的功能。用 crucif 这种方式在 notebook 里面去做做一些操作,那这边基本上是一条 SQL 语句。

一个例子,这边就是一个 DF,那这个F其实就是把一些把这个字符串转化为大写。然后转换大写之后,就 registered 这个 df,然后这个名字叫 MYAPP

当然邮件比较简单,其实不用这个 APP,这个是内置的一个 F我们可以看到下面这条语句。道具前面的道具一样也是 global,唯一不一样的地方,用了这个邮件APP,把这个CC class的名字全部转化为大写,再去跑一下。看看最后会跑出来什么样的结果。

跑完之后,数据是一样的,但是唯一不一样,下面做这些都变成大写 largemediumsmall,这个就是,如何在 notebook 环境里面用 SQL 这种方式,然后解决大部分的问题。这个就是在 notebook 环境里面用 flink 的这样简单的一个demo 例子。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
数据采集 存储 NoSQL
Python爬虫Cookies 池的搭建
python爬虫Cookie池架构,实现
379 0
|
Web App开发 前端开发 Java
Apache Zeppelin系列教程第二篇——整体架构
Apache Zeppelin系列教程第二篇——整体架构
315 0
|
Web App开发 前端开发 Java
数据探查中心Apache Zeppelin二次开发初体验
数据探查中心Apache Zeppelin二次开发初体验
998 0
数据探查中心Apache Zeppelin二次开发初体验
|
机器学习/深度学习 并行计算 计算机视觉
CUDA:王者之巅——探究CUDA为何能成为并行计算的佼佼者
本文探讨了CUDA在并行计算领域的崛起及其成为佼佼者的原因,详细介绍了CUDA的技术背景、架构原理及在深度学习、图像处理等领域的应用案例,展示了其显著的性能优势与优化方法,并展望了CUDA在未来计算技术发展中的潜力与方向。
|
12月前
|
安全 JavaScript 网络协议
WebSocket通信协议基础原理与安全威胁
WebSocket通信协议基础原理与安全威胁
334 0
|
7月前
|
JavaScript 前端开发
开发和内网部署正常,反向代理后出现404和图片加载失败的解决方案;部署到公网后报错404;部署到公网后图片加载出错;动态渲染获取图片失败
博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
11月前
|
缓存 Linux Docker
【最新版正确姿势】Docker安装教程(简单几步即可完成)
之前的老版本Docker安装教程已经发生了变化,本文分享了Docker最新版安装教程,其他操作系统版本也可以参考官 方的其他安装版本文档。
10378 3
【最新版正确姿势】Docker安装教程(简单几步即可完成)
|
存储 NoSQL 搜索推荐
Redis地理位置和搜索:实现位置服务和简单搜索引擎
本篇深入研究了Redis的地理位置数据类型及其应用,以及如何基于Redis构建一个简单的搜索引擎。我们首先介绍了地理位置数据类型(Geo),展示了如何使用它来存储位置信息,并进行位置查询、距离计算以及附近位置搜索。通过代码示例,读者可以了解如何利用地理位置数据类型实现位置服务。
781 0
|
缓存 JSON 安全
深入了解 Elasticsearch:10个常见面试问题及详细答案
Elasticsearch 是一个强大的搜索和分析引擎,广泛应用于处理大型数据集和构建实时搜索应用程序。在准备 Elasticsearch 面试时,掌握一些常见问题的答案至关重要。本文将为你提供10个常见的 Elasticsearch 面试问题,并详细解答每个问题。
|
存储 Prometheus 监控
服务搭建篇(一) 搭建基于prometheus + node_exporter + grafana + Alertmanager 的监控报警系统 , 保姆级教程
Alertmanager处理客户端应用程序(如Prometheus服务器)发送的警报。它负责重复数据删除、分组,并将它们路由到正确的接收器集成,如电子邮件、PagerDuty或OpsGenie。它还负责静音和抑制警报
619 0