【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!

简介: 【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!

文章目录


一、NiFi 安装

二、NiFi 的简单使用


一、NiFi 安装


环境要求:

a、需要Java 8或更高版本


b、支持的操作系统:Linux、Unix、Windows、Mac OS X


1、下载安装包

命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz


2、解压安装包、即可使用

命令:tar -zxvf nifi-1.8.0-bin.tar.gz


目录如下:


20200407182300219.png


3、配置文件( nifi-1.8.0/conf/nifi.properties )、可以使用默认配置,根据自己情况进行修改


2020040718234748.png


4、操作NIFI,启动的时候,比较慢,注意机器内存是否足够


后台启动命令:./bin/nifi.sh start


前端启动命令:./bin/nifi.sh run


关闭命令:./bin/nifi.sh stop


首次启动NiFi时,会创建以下文件和目录:


content_repository

database_repository

flowfile_repository

provenance_repository

work 目录

logs 目录

在conf目录中,将创建flow.xml.gz文件

5、启动后,使用浏览器进行访问,地址:http://ip:8080/nifi


20200407182517111.png


二、NiFi 的简单使用


不理解NIFI是做什么的,看一个简单的例子(同步文件夹)吧,帮助理解。


1、从工具栏中拖入一个Processor,在弹出面板中搜索GetFIle,然后确认。


20200407185607307.png


2、配置GetFile,设置结束关系、输入目录、保留源文件,其他设置可以不动,输入目录中有文件:file.txt(内容为abc)。


20200407185617229.png


20200407185643172.png


3、从工具栏中拖入一个Processor,在弹出面板中搜索PutFIle,然后确认,如第一步。


4、配置PutFile,设置结束关系、输出目录,其他设置可以不动,输出目录为空文件夹。


20200407185706819.png


20200407185714979.png


5、将GetFIle与PutFIle关联起来,从GetFIle中心点击,拖拉到PutFIle上。


20200407185728465.png


20200407185734726.png


6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中的文件同步到,输出目录中了。


20200407185756208.png


注意:操作过程中,注意错误排查


1、Processor上的警告


20200407185811210.png


2、Processor上的错误


20200407185821494.png

目录
相关文章
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2577 0
【NiFi】(一)NiFi 简介及核心概念
|
2月前
|
Java Linux 网络安全
NIFI在Linux服务区上的部署配置过程是什么?
【10月更文挑战第21天】NIFI在Linux服务区上的部署配置过程是什么?
57 2
|
3月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
93 2
|
4月前
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
341 2
|
7月前
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
998 0
|
7月前
|
Java Shell 分布式数据库
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
393 0
|
监控 测试技术 Go
【测试平台系列】第一章 手撸压力机(六)- 日志服务及使用yaml配置文件
上一章节我们封装TO(测试对象),方便我们以后扩展其他被测的接口或协议。本章我们主要实现以下,我们的日志输出。
|
数据可视化 Java Linux
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
1045 0
|
消息中间件 监控 算法
Kafka 常用工具脚本总结
Kafka 常用工具脚本总结
544 0
|
缓存 资源调度 前端开发
📒十分钟快速入门Yarn包管理工具
📒十分钟快速入门Yarn包管理工具
271 4
📒十分钟快速入门Yarn包管理工具