开发者学堂课程【NiFi 知识精讲与项目实战(第二阶段):NiFi 集群总结】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/706/detail/12532
NiFi 集群总结
内容介绍:
1.nifi 集群
2.故障排除
3.管理节点
4.卸载节点
5.删除节点
6.流动选举
一、nifi 集群
nifi 深入级的第一个知识点 NiFi 集群,在安装的时候,涉及到有三个配置文件需要进行变更,
首先是 zookeeper 文件,它位于 zookeeper.properties 文件当中。第二个配置文件,要修改的是在 state 的目录下有一个 zookeeper 文件夹,在下面不能需要添加一个 MYID 这样的一个标识文件来标识当前到底是哪一个 ZK 节点,
第三点是 NiFi 配置,存在于的 conf/nifi.properties 文件当中,通过修改 NiFi 的端口号,以及启用内线的 ZK 集群,并且配置 ZK 集群的这些端口号,IP 地址,通过这样的方式来标识当前的继续信息。
最后一个配置文件叫做 conf/state-management.xml,这主要是用来启动集群的时候来获取留信息,并且决定流信息、状态信息到底保存是以单排保存的形式,还是以集群保存的形式来进行。这也需要配置 zk 的地址好,以上是安装部分的知识点。
二、故障排除
故障排除,必须知道非常重要的一点是 log 目录在哪里,log 日志文件在哪里,它存在于的 log 目录下,有一个叫做nifi app 点 log,这个是故障排除这部分。
状态管理,通常都是在刚才所说的第四个配件,集群的状态管理,包括集群中处理器等等。这些状态在的这个配置软件当中进行配置,同时,这个配置文件当中配置的 ID 需要被 nifi 里面需要被 provider 所引用,比如 zk provider 在这里面配置完以后,需要被它所引用,NiFi 才知道,是通过哪些 ZK 集群,来进行保存,这些数据的。
三、管理节点
管理节点的功能,首先是可以断开的节点,断开节点之后,这个点还可以随时进行连接,而且,这个节点里面的数据还在这个节点当中进行存储,并没有从这个节点销毁掉,但重新连接以后还是会进行继续的消费的。
四、卸载节点
卸载节点以后这个卸载的节点它的流失数据文件就会删除掉,并且分发给其还正在进行当中运行的节点,进行平均的分发,但是这个节点在 cluster 的面板当中还存在,它并没有完全消失,还是可以把它找回。
五、删除节点
删除节点,可以直接把这个节点从的这个 cluster 面板当中删除掉了,就看不到它了,然后删除节点之后,可以到这个节点目录下把整个节点全部删除掉,就彻底的把这个节点给退,这个是管理节点的一些功能,当然在删除之后,还是可以进行重新链接的,这个在的 cluster 面板当中,都是有这样的一个重新连接的这个图标,也已经进行测试过了。
六、流动选举
流动选举,它主要指的是当的 NiFi 重启以后,如何去获取当前处理器等各种组件的正确的信息,并且拿到正确信息以后重新进行运行。这个过程就是通过 NiFi.property。这个文件当中的,两个配置项来进行,一个配置项,就是选举的等待时间,另外一个配置项是选举最终就是票数,通过这两个配置项来限制选举的这个最终结果。