开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段):监控 NiFi】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/705/detail/12521
监控 NiFi
内容介绍:
一、监控 NiFi
二、状态栏
三、组件统计
四、公告
一、监控NiFi
当数据在 NiFi 中流传的时候,如何来了解它的执行情况\如何评估是否需要更多的服务器资源,以及当前整个流程运转的情况如何,是否超负荷,这些情况都可以使用 NiFi 一系列监控系统来进行实现。
二、状态栏
1、在 NiFi 状态栏当中包含了有一个条状的形态,这个称之为状态栏。状态栏里会展示 NiFi 当前一些重要的统计数据,比如说现在的活动线程数量,这可以标识现在 NiFi 一共有多少线程正在运行。还有一个是排队数据,表示 NiFi 整个流程当中排队的、等待处理的 FlowFile 数量,以及 FlowFile 的大小是多少。如果 NiFi 是使用的集群,那么就可以看到这个集群当中一共有多少个节点以及当前所使用的有哪些节点。在这个时候活动线程和队列大小都指的是集群正在使用的总和。状态栏在之前进行介绍的时候提到过,就是顶部的区域。
它显示了整个 NiFi 重要的数据信息。
2、在组件工具栏下的 NiFi 屏幕顶部附近有一个条形,称为状态栏。它包含一些关于 NiFi 当前健康状况的重要统计数据。活动线程的数量可以指示 NiFi 当前的工作状态,排队统计数据表示当前在整个流程中排队的 FlowFile 数量以及这些 FlowFiles 的总大小。 如果 NiFi 实例位于群集中,我们还会在此处看到一个指示器,告诉我们群集中有多少节点以及当前连接的节点数。在这种情况下,活动线程的数量和队列大小指示当前连接的所有节点的所有总和。
三、组件统计
1、在工作面板上,每一个处理器、进程组都提供了这个组件到底处理了多少数据。这些统计信息只是显示了五分钟内的统计信息,是在不断变化的,允许查看处理器所消耗的 FlowFile 的数量,以及处理器生产出的 FlowFile 的数量,而且处理器进行连接还会显示连接上排队的 FlowFile 数量,以及 FlowFile 文件的大小,查看这些指标会非常有帮助,可以通过右键点击处理器,然后通过状态菜单查看数据的历史信息。 NiFi 可以展示一个图表,这个图表包含了启动 NiFi 服务以后24小时之内数据的历史记录。时间的值可以在 NiFi 配置文件当中修改。在对话框右上角有一个下拉列表,允许选择指标的过滤值。下面演示组件统计信息。 打开 NiFi web 可以看到,在工作面板当中,每一个处理器和连接组件,都有一个展示面板。在这个展示面板中,比如 GetFile,GetFile 处理器有一个 In,In 会有一些数字,这里面第一个数字指的就是 GetFile 接收到的 FlowFile 的个数,
后面有个小括号,他指的是 GetFile 接受到 FlowFile 的大小。第二个 Read/Write,这是读取和写入的大小。Out 和 In 是对应的,也就是 GetFile 输出的 FlowFile 的个数以及 FlowFile 的文件大小。同理,在 putfile 面板当中展示的也有这些数据,
而且已经标明这些数据展示的都是五分钟内的。五分钟之前的数据在核心面板上不做展示,在队列面板当中也展示了当前连接队列里面一共有几个 FlowFile。
以及 FlowFile 占用的大小。在 FlowFile 里面到底有哪些还未处理,这里面有两个横线,左侧的横线会标识未处理的 FlowFile 的个数和状态,右侧的横线是 FlowFile 的大小和状态。
也可以通过选中处理器,点击 status 按钮查看历史数据。
这里会以图表的形式进行展示
但是因为现在暂停了一段时间,所以里面没有进行数据的展示。默认是五分钟,但是这个值可以进行修改。右上角可以选择想要统计信息的过滤器,查看想要查看的历史数据。
2、画布上的每个处理器,进程组 (Group) 和远程进程组都提供了有关组件处理了多少数据的若干统计信息。这些统计信息提供有关在过去五分钟内处理了多少数据的信息。这是一个滚动窗口,允许查看处理器消耗的 Flow Files 数量.以及处理器发出的 FlowFiles 数量。 处理器之间的连接还会显示当前排队的项目数。 查看这些指标的历史值以及(如果是群集的)不同节点相互比较也可能很有价值。可以右键单击组件并选择 Stats 菜单项查看此信息, nifi 会展示一个图表,该图表涵盖自 NiFi 启动以来的时间,或最多24小时,以较少者为准(通过更改属性文件中的配置,可以扩展或减少此处显示的时间量) 在此对话框的右上角有一个下拉列表,允许用户选择他们正在查看的指标。底部的图表允许用户选择图表的较小部分进行放大。
四、公告
1、NiFi 除了为每一个组件提供统计信息之外,可能还需要知道流程是否出现了漏洞。这个时候 NiFi 就提供了漏洞信息的公告,在屏幕上弹出错误信息,以及其他的公告信息。如果把鼠标悬停在公告上,就可以查看此公告的详情。如果使用的是 NiFi 集群,公告信息还会显示,错误信息到底是在哪个节点上的。
2、除了为每个组件提供的统计信息之外,用户还想知道流程是否出现问题。虽然可以监视日志中的任何内容,但在屏幕上弹出通知会更方便。如果处理器将日志级别设置为 WARNING 或 ERROR,可以在处理器的右上角看到 "Bulletin Indicator" 。此指示器看起来像一个粘滞便笺,将在事件发生后持续显示五分钟。将鼠标悬停在公告上可提供有关所发生情况的信息,以便用户无需筛选日志消息即可查找。如果是在集群中,公告还会指示是集群中的哪个节点发布了公告。还可以在处理器的"配置"对话框的"设置"选项卡中更改公告的日志级别。 如果框架发布了公告,还会在屏幕右上方突出显示公告指示符。在全局菜单中是公告板选项 (Bulletin Board) 。单击此选项我们将看到公告板,在那里可以看到 NiFi 实例中出现的所有公告,并可以根据组件,消息等进行过滤