开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段):NiFi 数据来源 】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/705/detail/12522
NiFi 数据来源
内容介绍:
一、数据来源
二、事件详情
三、谱系图
一、数据来源
1、本课程讲解 NiFi 数据来源展示功能。这个功能实际上是对 NiFi 监控功能的补充,NiFi 对他所摄取读取的每一个 FlowFile 数据都会把细节保存下来。当数据通过 NiFi 服务进行处理、转换、路由、拆分、聚合或者分发操作的时候,这些具体的实践信息都会存储在 Provenance Repository 中。为了搜索和查询这些详细的信息,可以从全局菜单中选择 Data Provenance 按钮进行查看。下图为 Provenance。
这个列表会展示最近的1000个事件信息。里面有一个 Search 按钮,允许搜索指定的某一个处理器,可以按照文件名或 UUID 或其他特定字段进行搜索。
2、在 nifi .properties 文件中提供了配置这些属性中的哪些属性可编入索引或可作搜索条件的功能。此外,配置文件还允许您指定将被索引的 FlowFile 属性。因此,您可以指定哪些属性对您的特定数据流很重要,并使这些属性可搜索。
二、事件详情
1、在列表当中,可以查看具体事件的详细信息,查询搜索以后,可以点击在列表中最左侧 i 按钮查看详细信息。然后就会弹出详细信息的面板,
在这个面板当中,可以看到事件发生的时间以及它所影响的 FlowFile 文件,还有事件所执行的所在的 process 处理器,以及事件花费的时间和 NiFi 数据已经存在的总时间。
2、ATTRIBUTES 选项卡展示了 FlowFile 上所有的属性信息,在这个列表当中,可以看到 FlowFile 所有的属性值,以及这些属性的历史值,也可以看到有哪些属性是因为这个事件产生变化的。
另外,也可以点击右侧的复选框,可以查看已经改变的属性。如果 FlowFile 只有少量属性,这个复选框可以不用选择,当 FlowFile 属性值非常多的时候,可以点击这个按钮,查看变更的属性值。
3、 CONTENT 选项卡。
在这个选项卡当中展示了 FlowFile 的内容信息以及 FlowFile 内容存储的目录信息。如果事件把 FlowFile 的内容做了变更,可以在左侧或右侧分别查看原始的输入值或改变以后的输出值。另外,在选项卡的重播部分有一个按钮,叫做 Replay。它可以将 FlowFile 重新触发,这样就可以模拟之前一模一样的执行流程,可以用这个功能实现错误的复现,场景的复现。这个按钮没有在图中展示是因为面板区域有限,如果向下滚动,会发现在 replay 下面,有一个按钮,就是 replay 按钮。
此选项卡向我们提供有关存储 FlowFile content 的内容存储库位置的信息。如果事件修改了 FlowFile 的内容,我们将看到 input claim 和 outputdaim。如果数据格式是 NiFi 了可以识别的可以呈现的数据格式我们可以选择下载或查看NiFi 内部的内容。
三、谱系图
1、在数据栏面板当中,还有一个功能是谱系图,除了可以查看详细信息之外,还可以通过列表当中的谱系图按钮,查看所有涉及到的 FlowFile 复读关系。在下面这个截图当中可以看到
这里面展示的有 FlowFile 以及这个 FlowFile 产生的一系列事件。可以右键点击任何事件,查看事件的详细信息。还有一些特殊的事件类型需要注意,比如说看到 JOIN、FORK 或者说是 ClONE 这样的事件,可以右键选择 Parents 或Expand 这样的按钮 ,查看他的父文件或子文件信息。在左下角还有一个滑块,通过这个滑块可以实现模拟时间流动的功能,来复现 FlowFile 处理时间节点的流程。通过拖动这个滑块图形会产生变化,展示了在某一个具体时间信息它运行的哪一个步骤。这里面展示的就是具体的时间节点,当拖动方块的时候,时间会产生变化,同时图标也会产生特定的变化。
2、下面进行一个数据来源的展示,可以在处理器当中右键点击选中 data Provenance 按钮。
然后就可以查看 provenance 事件列表。
在这个事件列表当中,可以点击左侧的 info 按钮查看,查看事件所涉及到的具体详细信息。DETAILS 按钮展示了事件基础的信息。
在 ATTRIBUTES 界面展示了 FlowFile 涉及的一些属性。
在 CONTENT 面板当中展示了 FlowFile 文件的 content 内容,
可以通过 view 按钮查看 FlowFile 文本内容,hello world agin 就是做测试的时候发送的原始数据。右侧是经过处理后输出的文本内容,同样可以通过点击 view 按钮进行查看,也可以对文本内容进行 download 下载。此外在 content 面板当中,往下拖动面板可以看到 replay 按钮。
如果点击 reply,NiFi 处理器会重新执行当前事件来复现 NiFi 流程,这对我们进行问题的定位和复现有帮助。
3、刚才提到还有谱系图的功能,谱系图也就是家族图,可以在列表右侧有三个圆圈,点击以后可以看到谱系图。
这个图标就是 FlowFile 在执行这个节点上创建的位置节点,可以通过拖动左下角的方块,演示 FlowFile 不同的时间节点上处理的状态。通过拖动可以看图是产生变化的,随着时间的推移详细的记录了 FlowFile 完整的流程。