NiFi 集群总结 | 学习笔记

简介: 快速学习 NiFi 集群总结

开发者学堂课程【NiFi 知识精讲与项目实战(第二阶段):NiFi 集群总结学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/706/detail/12532


NiFi 集群总结

内容介绍:

1.nifi 集群

2.故障排除

3.管理节点

4.卸载节点

5.删除节点

6.流动选举


一、nifi 集群

nifi 深入级的第一个知识点 NiFi 集群,在安装的时候,涉及到有三个配置文件需要进行变更,

首先是 zookeeper 文件,它位于 zookeeper.properties 文件当中。第二个配置文件,要修改的是在 state 的目录下有一个 zookeeper 文件夹,在下面不能需要添加一个 MYID 这样的一个标识文件来标识当前到底是哪一个 ZK 节点,

第三点是 NiFi 配置,存在于的 conf/nifi.properties 文件当中,通过修改 NiFi 的端口号,以及启用内线的 ZK 集群,并且配置 ZK 集群的这些端口号,IP 地址,通过这样的方式来标识当前的继续信息。

最后一个配置文件叫做 conf/state-management.xml,这主要是用来启动集群的时候来获取留信息,并且决定流信息、状态信息到底保存是以单排保存的形式,还是以集群保存的形式来进行。这也需要配置 zk 的地址好,以上是安装部分的知识点。


二、故障排除

故障排除,必须知道非常重要的一点是 log 目录在哪里,log 日志文件在哪里,它存在于的 log 目录下,有一个叫做nifi  app 点 log,这个是故障排除这部分。

状态管理,通常都是在刚才所说的第四个配件,集群的状态管理,包括集群中处理器等等。这些状态在的这个配置软件当中进行配置,同时,这个配置文件当中配置的 ID 需要被 nifi 里面需要被 provider 所引用,比如 zk provider 在这里面配置完以后,需要被它所引用,NiFi 才知道,是通过哪些 ZK 集群,来进行保存,这些数据的。


三、管理节点

管理节点的功能,首先是可以断开的节点,断开节点之后,这个点还可以随时进行连接,而且,这个节点里面的数据还在这个节点当中进行存储,并没有从这个节点销毁掉,但重新连接以后还是会进行继续的消费的。


四、卸载节点

卸载节点以后这个卸载的节点它的流失数据文件就会删除掉,并且分发给其还正在进行当中运行的节点,进行平均的分发,但是这个节点在 cluster 的面板当中还存在,它并没有完全消失,还是可以把它找回。


五、删除节点

删除节点,可以直接把这个节点从的这个 cluster 面板当中删除掉了,就看不到它了,然后删除节点之后,可以到这个节点目录下把整个节点全部删除掉,就彻底的把这个节点给退,这个是管理节点的一些功能,当然在删除之后,还是可以进行重新链接的,这个在的 cluster 面板当中,都是有这样的一个重新连接的这个图标,也已经进行测试过了。


六、流动选举

流动选举,它主要指的是当的 NiFi 重启以后,如何去获取当前处理器等各种组件的正确的信息,并且拿到正确信息以后重新进行运行。这个过程就是通过 NiFi.property。这个文件当中的,两个配置项来进行,一个配置项,就是选举的等待时间,另外一个配置项是选举最终就是票数,通过这两个配置项来限制选举的这个最终结果。

相关文章
|
自然语言处理 数据可视化
Qt开发技术:Qt富文本(二)Qt文本光标操作、文档布局、富文本编辑、处理和Demo
Qt开发技术:Qt富文本(二)Qt文本光标操作、文档布局、富文本编辑、处理和Demo
Qt开发技术:Qt富文本(二)Qt文本光标操作、文档布局、富文本编辑、处理和Demo
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
2268 0
|
7月前
|
存储 运维 监控
百万指标,秒级查询,零宕机——时序数据库 TDengine 在 AIOps 中的硬核实战
本篇文章详细讲述了七云团队在运维平台中如何利用 TDengine 解决海量时序数据存储与查询的实际业务需求。内容涵盖了从数据库选型、方案落地到业务挑战及解决办法的完整过程,特别是分享了升级 TDengine 3.x 时的实战经验,给到有需要的小伙伴参考阅读。
246 1
|
安全 数据安全/隐私保护
使用了代理IP之后软件或网站还是拒绝访问的原因分析
代理IP使用后仍被拒访可能因无效IP、网站反代理机制、设置错误、网络问题或软件设置不当。检查代理有效性,确认网站限制,修正设置,确保网络稳定,及调整软件代理配置是解决之道。遇到问题需针对性排查。
|
自然语言处理 数据可视化 算法
Python主题建模LDA模型、t-SNE 降维聚类、词云可视化文本挖掘新闻组数据集1
Python主题建模LDA模型、t-SNE 降维聚类、词云可视化文本挖掘新闻组数据集
|
分布式计算 Hadoop API
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
777 1
|
开发工具 Python
Python 打包SDK
Python 打包SDK
353 0
|
大数据 Java Linux
大数据Nifi环境搭建
大数据Nifi环境搭建
430 0