NiFi 监控2 | 学习笔记

简介: 快速学习 NiFi 监控2

开发者学堂课程【NiFi 知识精讲与项目实战(第二阶段):NiFi 监控2】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/706/detail/12540


NiFi 监控2

内容介绍:

一、NiFisummary(摘要)

二、statushistory

三、Dataprovenance(数据来源)

四、种源事件

五、Event 详情

六、查看 flowfilelineage

七、重播 flowfile


一、NiFisummary(摘要)

NiFi 摘要监控功能,摘要功能是展示 NiFi 当中的一些组件的摘要信息,可以在摘要信息中查看各种组件的列表以及状态,还有前置与后置组件,以及历史数据。还可以在去搜索所想要查看的数据,并且还可以查看 NiFi 服务器的一些统计信息,下面的图是 summary 摘要信息的图,

1.png

如上图可以查看所有的处理器信息,并且可以查看每个处理器它到底现在是什么样的运行状态,以及它里面所包含的数据信息等等,也可以查看存储处理器的详细信息,比如下图左侧,就是查看处理器的详细信息,也可以去定位到处理器所在的位置,以及处理器它的一些历史状态信息,

2.png

摘要页面包含的元素信息:

BulletinIndicator 图标:会有公告信息,比如错误信息,

Bulletin Indicator 图标:会有公告信息,比如错误信息, Details:处理器的详情, Go To:也可以通过 goto 按钮,也就是上图里面的箭头儿跳转到处理器所在的位置, Status History:也可以查看这些处理器组件它的历史数据, Filter:也就是图形当中 filter 来进行过滤,之后来获取所想要查看的这个处理器, 同时,也可以点击这个右下角的有一个叫做 system dialog,点开后就可以查看到这个服务器的内存 cpu,磁盘等等这样一些的占用情况。  

二、status history  

status history 主要是展示这个组建的历史数据,是以图表的形式来进行展示,通过这种宏观的方式告诉服务器数据流现状和发展过程,在这个图中可以通过拖动这个下边这个图形的这个范围区域来展示,某一个短时间,这个节点的这个数据报表,也可以通过拖动上边图表的这个右下角按钮,来进行改变这个图表的大小,在这里面还包含了组件的 ID信息以及所属的这个处理器组的信息,还有组件的名称,以及组件的类型,还有这个 start,就是这个图表组件创建的最早的时间,以及图表,现在目前,展示的最新数据的时间,在这里面当然还包含了数据的最小值,最大值以及平均值,这个是 studios 操作面板。

3.png


三、Data provenance(数据来源)  

Data provenance 数据来源,它主要展示是特定的事件流,所有这个处理器,所包含的时间都会在 provenance 面板当中进行展示,并且 provenance 数据还可以查看所引用的 flow file 文件,以及 flow file 流转的一个完整的过程,这个界面,就是 Data provenance 的一个界面,

4.png

如上图界面当中,可以查看到所发生的事件以及这个事件所发生的详细信息,包括事件里面所引用的 flow file 以及整个历史演变。

 

四、种源事件  

初级类型,

add info:添加一些信息,比如添加了一些属性,添加了一个 UUID。这样就是 in for,

alphabet modify:主要是指修改了 flow file 的属性信息,

Close:是表示的 flow file 和 for flow file 完全相同,之后进行了复制,

content modify:主要是指修改 flow file 的实际文本内容而不是修改属性,

Create:主要是指创建一个新的 flow file,

Download:主要是指用户的操作,点击 NiFi 的面板登录的按钮以后,就会触发 download 的实验,

drop事件:相当于 flow fail 的生命周期结束的时候,会触发这个事件,

Expire:主要是指数据对象还没有来得及进行处理就结束了。

Fetch:主要指覆盖,就是通过操作,或者读取外部的数据,把 flow file 的这个文本内容进行覆盖的一个操作。

Fork:是指派生,相当于是父 flow file 演变出来的子 flow file 会触发这个事件,和 klient 是不相同的,子 flowfile 可能会产生变化的,

joy:指的聚合,把多个父 flow file,聚合在一起,生成一个新的子 flow file 这是聚和。

Receive:主要是指接收数据,比如卡斯卡接收数据,

Reply:是指重放 flow file 完整的一个流程,是在 provenance 面板去触发的时间。

Roo:指的是路由,根据不同的属性,路由到不同的处理器当中,

Send:相对于 receive,主要是进行发送,但 receive 是进行接收,

unknown:信息权限上的问题不需要不能让看到就会展示 unknown,  

了解了这个类型以后,可以更好去监控和观测整个数据流程的发展以及这个文件流的演变过程,当然也可以在的这个provenance 这个面板当中去使用搜索功能,

5.png

包含了高级搜索功能,可以根据的类型以及这个名称,UUID 等等,所有这些会想到的这些属性,在这里面都可以去进行搜索,比如根据类型,叫receive的实验类型,并且还包含了 flow file 的标识符,比如 UUID 这里面写的是根据file name,就是 flow file,它的 name 里面包含了有一个叫 ABC 这样的字符,就可以把它给查询出来。

 

五、Event 详情  

provenance event 页面,

6.png

可以查看事件的详情,事件详情里面保存的有事件所发生的详细信息,包含了比如事件发生的时间,以及事件的类型,还有生成事件是哪个组件生成的,以及 flow file 它的一个 UUID 等等这些数据全部都显示的有。

在 attributs 选项卡当中,会显示 event 所包含的这个 flow file 的属性信息,这个是 flow file 的详细概要,这时也可以去通过勾选右上角的钩来显示被事件所修改编辑的属性,一般在属性太多想查看关键的被事件所更新的属性的时候,可以勾选这个按钮,默认不勾选。  


六、重播 flow file  

provence 界面有重播功能,重播功能相当于把这个历史事件重新再触发一遍,这样可以进行测试以及问题的定位,之后方便地进行调试。

7.png


七、查看 flow file lineage  

data provenance 可以查看 flow file 的历史走向,如下图。这个图标是 flow file 文件,这圆圈是指事件,左下角是时间轴,可以拖动这个时间轴来影响这个图标的展现,

8.png

也可以在这个 flow file 上面点击右键,然后通过这个 find parents 按钮找到的父级节点,

9.png

然后就会出现类似于下图这样的跟踪图表,

10.png

然后,还可以点击 expand,主要是展示 flow fell 所生成的一系列子 flow file,展示的结果如下图。

11.png

包含了这个子 flow file 所有的流程,

12.png


七、重播 nifi summary

首先进入到 NiFi 面板当中,启动所有的处理器,处理器已经开始运行,可以查看 NiFi summary 摘要信息,通过点击右上角,然后再点击的 summary,就可以打开。  

13.png

在 nifi summer 当中,可以看到所有的处理器,在这里面都列出来了,包括哪些处理器正在运行,哪些处理器已经停止,全部都可以看到,然后,在左侧可以点击 inform 按钮,可以查看到处理器的详细的信息包含名称、ID 以及类型等等,还可以查看调度策略,属性信息以及描述信息,同时在这个面板的右下角,有一个叫做 system dial notice 的按钮,点击,就可以看到服务器现在的使用情况。

14.png

包含了 JVM 的堆信息和非堆信息,还可以看到系统的使用情况,包括系统的磁盘使用情况,存储使用情况,版本信息,NiFi 版本,Java 版本和的系统版本。

还可以点击右侧 will statues history 按钮和 goto 按钮,如果点击 goto,就会定位到这个处理器在面板当中所处的位置,并且选中这个处理器,如果点击右侧的这个图表按钮,就会展示的 status history,它展示的是过去五分钟之内,组件所有和性能相关的统计图表,可以通过右侧的图表来选中某一个区域来进行详细的展示,也可以通过拖动按钮来改变图形的大小,也可以通过勾选右上角的下拉框来改变想要观测的数据,

15.png

以上是 nifi summary 的操作。

Data province 的使用,右键选中处理器,点击 will data to Providence 按钮,如下图事件列表。

16.png

展示了整个流程当中所有发生的事件,可以点击左侧的 infor 来查看事件的详情,以及所包含的 flowfile 属性,这个事件里面所包含来源的 flowfile 以及去向 flow file 的文件,并且可以点击 view 来查看输入的数据和输出的数据。

例如找到 replace text,点击 view data province,并且点击一个事件,点击 content,就可以看到输入的是 ABCD,输出就变成了如下图一套 flow file

17.png

另外,也可以点击右侧按钮,叫做 show language,就可以看到 flow file 的完整流程走向。

18.png

同时,也可以点击右下角的时间轴就可以查看到整个在某一个时间点进行的操作。也可以在操作上面通过右键点击的方式来查看它的详细信息。以下图是详情。

19.png

注意在 content 里面,最下角有 replay 按钮。这个按钮平时是看不到的,只有往下拖才可以看到,点击这个按钮就会重新触发当前所看的这个时间,方便进行调试。

相关文章
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2556 0
【NiFi】(一)NiFi 简介及核心概念
|
2月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
83 2
|
存储 Java 调度
Nifi 的性能 | 学习笔记
快速学习 Nifi 的性能
387 0
|
监控 关系型数据库 MySQL
Zabbix分布式监控快速入门 2
Zabbix分布式监控快速入门
105 0
|
监控 关系型数据库 Linux
Zabbix分布式监控快速入门 1
Zabbix分布式监控快速入门
113 0
|
监控 Java 开发者
NiFi 监控1 | 学习笔记
快速学习 NiFi 监控1
167 0
NiFi 监控1  |  学习笔记
|
监控 安全 开发者
监控 NiFi | 学习笔记
快速学习监控 NiFi
324 0
监控 NiFi  |  学习笔记
|
监控 网络协议 Java
Nifi 安装-1 | 学习笔记
快速学习 Nifi 安装-1
777 0
Nifi 安装-1  |  学习笔记
|
存储 负载均衡 Java
Nifi 架构 | 学习笔记
快速学习 Nifi 架构
285 0
Nifi 架构  |  学习笔记
|
XML 数据格式 开发者
了解 Nifi 其他组件 | 学习笔记
快速学习了解 Nifi 其他组件
305 0
了解 Nifi 其他组件  |  学习笔记
下一篇
无影云桌面