开发者学堂课程【NiFi 知识精讲与项目实战(第二阶段):NiFi 监控1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/706/detail/12539
NiFi 监控1
内容介绍:
1.状态栏
2.处理器面板
3.进程组面板
NiFi 的监控学习阶段,NiFi 提供了有大量的监控功能,以便于去查看整个基层所有组件,以及,flow file 流式文件的一些详细的信息和历史数据。这里面包含的顶部的状态栏,以及之前所提到的的处理器的面板,进程组的面板,还有一些这个远程进程组的一些面板连接,它提供的还有队列的信息,所以这个监控的功能有很多,同时,还有一些面板可以去查看这个处这个服务器,它所使用的一些一些情况。包括磁盘使用情况,Cpu 的利用率,以及的内存占用情况,甚至包含的 Java 堆和 GC 垃圾收集机制等等这样的一些信息。
一、状态栏
状态栏,在使用集群的时候,最左侧的=展示,展示的就=是当前集群的节点,然后,还展示了集群当中所运行的处理器和停止处理器的一些数量。
二、处理器面板
处理器面板,在 NiFi 处理器面板当中也包含了非常多的信息。比如处理器类型,在这里面这有个 putfile,然后,还有的公告指示器也就是报错信息。
另外一个,状态指示灯,展示现在是在运行,还是这个处于这个结束,还有一些无效的情况,它会显示一个黄色的感叹号。如果被禁用了也会显示禁用的图标,另外,处理器名称也在这里面会有展示,可以看到在这个就是的处理器名称,然后,还有一个就是的这个活动的任务数,也就是现在一共有几个现场正在处理的任务。另外,这里面展示的还有这一部分数据,它展示的都是五分钟之内的数据,其中in它展示的是处理器接收到的数据,首先第一个29,就是接收到的 Flow fail 一个数量有几个,然后,后面的这个,它是指的 flow feel 的这个文件大小是多大,这里面是14兆,另外,还有一个是 read right,指处理器从磁盘读写,并且写入磁盘的这个 flow file 的总大小,然后,还有一个是outout,和 in 是相对应的,out 是输出了多少个 flow file,以及 flow 的这个大小,最后,还有一个 task time,这个是一共处理了多少个任务,之后是处理这个处理器,从执行启动以后到现在,一共运行了这个运行的过程中,一对每一个任务处理的这个消耗的时长和平均的时长,就是每一个任务,它消耗,去做处理计算的时间,分别平均是多长时间,这个是处理器面板所展示的一个信息。主要是五分钟之内的一些数据监控。
三、进程组面板
进程组面板,也是处理器组面板里面提供了很多概要的信息,比如处理器的名称,另外,还有一个是公告指示器,相当于报错面板,还有一个是活动任务数,相当于是现在有几个现场,这个处理器组当中一共有几个现场,现在正在运行,另外,还有一个就是的统计信息,也是在这一部分当中,统计信息也是五分钟之内的数据,首先第一个是队列,也是在这个处理器组当中,它的队列一共有多少数据,还等待处理利用。另外一个是这个处理器,接收到的数据一共有多少个,还有这个读写硬盘所涉及到的文件的大小,这个大小不仅是的这个 flow file 内容,还有一些其他的跟踪内容等等,原数据等等这些信息,最后是 out 输出的,这个组输出的这个文件,复制文件的这个数量以及它的大小,还有是这里面还有一些组件,统计的信息,比如这部分所统计的就是一共有几个处理器正在运行,然后,还有一些处理器,它是正在停止的状态,还有是非传输的组件,它没有传输的这些功能,这些组件,就是可能是禁用,它传输的这些这些端口号儿,还有一个,就是的传输端口儿,是接收的这个 nifi 去接收远程这个端口的数据,接收的数量主要是针对这个远程处理器组,还有一个是无效组件,就哪些处理器现在是无效的,以及这个是把它关闭的一些处理器,实置禁用的一些处理器,当然还有一些就是版本的状态统计,以及注释信息,也都会在这里面展示出来,比如在这里就有版本展示信息。