开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段):常见问题】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/705/detail/12523
常见问题
内容介绍:
一、是不是组件每种连接关系(suceess 和 failure 等)都要有所对应
二、组件已经正常运行了,右上角怎么还在报错
三、为什么用 Select 组件查询出来的数据都是重复的
本课程主要对 NiFi 使用过程中一些常见问题进行说明。
一、是不是组件每种连接关系(suceess 和 failure 等)都要有所对应
首先,NiFi 是基于流式处理数据的,那么数据就会有流向,连接关系就是帮助处理数据流向的。可以把一个组件和另一个组件通过连接关系进行关联,但有时候会发现一个问题,比如说最后一个组件不需要再进行流转链接,这个时候就可以通过一个设置,把他们连接到自身,而不是连接到别的组件中。可以通过 coNiFiigure 打开组件配置界面,在界面里勾选上不需要往后连接的连接关系,比如说把这两个都勾选上,这个时候,处理器数据就不会再往后流转。
二、组件已经正常运行了,右上角怎么还在报错
组件右上角的报错信息它展示的是一段时间之内的错误,而且这些错误信息也不是展示以后会立刻消失的。如果已经把这些错误解决掉了,并且重新运行 NiFi,但是这些报错信息还是会继续存在一段时间,可以通过报错信息上面提示的时间戳来判断什么时候报的错。
三、为什么用Select组件查询出来的数据都是重复的
每一个组件都有多种调度的方式,常见的有三种。第一种是每隔一段时间执行一次,第二种是在特定时间执行一次,第三种是上游有数据就立刻执行。如果刚使用 NiFi,就有可能选择调度的模式,有可能只是想让 select 组件进行一次查询,但是却选择了每隔一段时间查询一次,他就会重复执行。
第一个选项在配置信息当中,这里面没有修改,是零秒。
他的意思就是会不断循环。这里是读取文件,如果是通过 sql 读取数据库,不断读取数据,读出来的肯定是重复的数据。可以在设置当中,把调度选项卡当中的数值改变,比如说加上一个时间段,这个时候,他重复执行的周期就会大大加长。
这就是 NiFi 在使用过程中一些常见的问题。