NiFi 集群总结 | 学习笔记

简介: 快速学习 NiFi 集群总结

开发者学堂课程【NiFi 知识精讲与项目实战(第二阶段):NiFi 集群总结学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/706/detail/12532


NiFi 集群总结

内容介绍:

1.nifi 集群

2.故障排除

3.管理节点

4.卸载节点

5.删除节点

6.流动选举


一、nifi 集群

nifi 深入级的第一个知识点 NiFi 集群,在安装的时候,涉及到有三个配置文件需要进行变更,

首先是 zookeeper 文件,它位于 zookeeper.properties 文件当中。第二个配置文件,要修改的是在 state 的目录下有一个 zookeeper 文件夹,在下面不能需要添加一个 MYID 这样的一个标识文件来标识当前到底是哪一个 ZK 节点,

第三点是 NiFi 配置,存在于的 conf/nifi.properties 文件当中,通过修改 NiFi 的端口号,以及启用内线的 ZK 集群,并且配置 ZK 集群的这些端口号,IP 地址,通过这样的方式来标识当前的继续信息。

最后一个配置文件叫做 conf/state-management.xml,这主要是用来启动集群的时候来获取留信息,并且决定流信息、状态信息到底保存是以单排保存的形式,还是以集群保存的形式来进行。这也需要配置 zk 的地址好,以上是安装部分的知识点。


二、故障排除

故障排除,必须知道非常重要的一点是 log 目录在哪里,log 日志文件在哪里,它存在于的 log 目录下,有一个叫做nifi  app 点 log,这个是故障排除这部分。

状态管理,通常都是在刚才所说的第四个配件,集群的状态管理,包括集群中处理器等等。这些状态在的这个配置软件当中进行配置,同时,这个配置文件当中配置的 ID 需要被 nifi 里面需要被 provider 所引用,比如 zk provider 在这里面配置完以后,需要被它所引用,NiFi 才知道,是通过哪些 ZK 集群,来进行保存,这些数据的。


三、管理节点

管理节点的功能,首先是可以断开的节点,断开节点之后,这个点还可以随时进行连接,而且,这个节点里面的数据还在这个节点当中进行存储,并没有从这个节点销毁掉,但重新连接以后还是会进行继续的消费的。


四、卸载节点

卸载节点以后这个卸载的节点它的流失数据文件就会删除掉,并且分发给其还正在进行当中运行的节点,进行平均的分发,但是这个节点在 cluster 的面板当中还存在,它并没有完全消失,还是可以把它找回。


五、删除节点

删除节点,可以直接把这个节点从的这个 cluster 面板当中删除掉了,就看不到它了,然后删除节点之后,可以到这个节点目录下把整个节点全部删除掉,就彻底的把这个节点给退,这个是管理节点的一些功能,当然在删除之后,还是可以进行重新链接的,这个在的 cluster 面板当中,都是有这样的一个重新连接的这个图标,也已经进行测试过了。


六、流动选举

流动选举,它主要指的是当的 NiFi 重启以后,如何去获取当前处理器等各种组件的正确的信息,并且拿到正确信息以后重新进行运行。这个过程就是通过 NiFi.property。这个文件当中的,两个配置项来进行,一个配置项,就是选举的等待时间,另外一个配置项是选举最终就是票数,通过这两个配置项来限制选举的这个最终结果。

相关文章
|
存储 监控 Java
NiFi 监控2 | 学习笔记
快速学习 NiFi 监控2
319 0
NiFi 监控2  |  学习笔记
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
监控 Java 开发者
NiFi 监控1 | 学习笔记
快速学习 NiFi 监控1
165 0
NiFi 监控1  |  学习笔记
|
存储 负载均衡 Java
Nifi 架构 | 学习笔记
快速学习 Nifi 架构
285 0
Nifi 架构  |  学习笔记
|
监控 负载均衡 数据处理
NiFi 集群知识点 | 学习笔记
快速学习 NiFi 集群知识点
357 0
NiFi 集群知识点  |  学习笔记
|
存储 XML Linux
NIFI 集群知识点 | 学习笔记
快速学习 NIFI 集群知识点
285 0
NIFI 集群知识点  |  学习笔记
|
监控 安全 开发者
监控 NiFi | 学习笔记
快速学习监控 NiFi
324 0
监控 NiFi  |  学习笔记
|
监控 网络协议 Java
Nifi 安装-1 | 学习笔记
快速学习 Nifi 安装-1
775 0
Nifi 安装-1  |  学习笔记
|
XML 数据格式 开发者
了解 Nifi 其他组件 | 学习笔记
快速学习了解 Nifi 其他组件
305 0
了解 Nifi 其他组件  |  学习笔记
|
Linux 开发者
Nifi 安装-2 | 学习笔记
快速学习 Nifi 安装-2
243 0
Nifi 安装-2  |  学习笔记