【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!

简介: 【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!

文章目录


一、NiFi 安装

二、NiFi 的简单使用


一、NiFi 安装


环境要求:

a、需要Java 8或更高版本


b、支持的操作系统:Linux、Unix、Windows、Mac OS X


1、下载安装包

命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz


2、解压安装包、即可使用

命令:tar -zxvf nifi-1.8.0-bin.tar.gz


目录如下:


20200407182300219.png


3、配置文件( nifi-1.8.0/conf/nifi.properties )、可以使用默认配置,根据自己情况进行修改


2020040718234748.png


4、操作NIFI,启动的时候,比较慢,注意机器内存是否足够


后台启动命令:./bin/nifi.sh start


前端启动命令:./bin/nifi.sh run


关闭命令:./bin/nifi.sh stop


首次启动NiFi时,会创建以下文件和目录:


content_repository

database_repository

flowfile_repository

provenance_repository

work 目录

logs 目录

在conf目录中,将创建flow.xml.gz文件

5、启动后,使用浏览器进行访问,地址:http://ip:8080/nifi


20200407182517111.png


二、NiFi 的简单使用


不理解NIFI是做什么的,看一个简单的例子(同步文件夹)吧,帮助理解。


1、从工具栏中拖入一个Processor,在弹出面板中搜索GetFIle,然后确认。


20200407185607307.png


2、配置GetFile,设置结束关系、输入目录、保留源文件,其他设置可以不动,输入目录中有文件:file.txt(内容为abc)。


20200407185617229.png


20200407185643172.png


3、从工具栏中拖入一个Processor,在弹出面板中搜索PutFIle,然后确认,如第一步。


4、配置PutFile,设置结束关系、输出目录,其他设置可以不动,输出目录为空文件夹。


20200407185706819.png


20200407185714979.png


5、将GetFIle与PutFIle关联起来,从GetFIle中心点击,拖拉到PutFIle上。


20200407185728465.png


20200407185734726.png


6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中的文件同步到,输出目录中了。


20200407185756208.png


注意:操作过程中,注意错误排查


1、Processor上的警告


20200407185811210.png


2、Processor上的错误


20200407185821494.png

目录
相关文章
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2376 0
【NiFi】(一)NiFi 简介及核心概念
|
4天前
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
17 2
|
30天前
|
API
【想进大厂还不会阅读源码】ShenYu源码-替换ZooKeeper客户端
ShenYu源码阅读。相信大家碰到源码时经常无从下手,不知道从哪开始阅读😭。我认为有一种办法可以解决大家的困扰!至此,我们发现自己开始从大量堆砌的源码中脱离开来😀。ShenYu是一个异步的,高性能的,跨语言的,响应式的 API 网关。
|
3月前
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
638 0
|
3月前
|
存储 消息中间件 数据采集
Flume 配置文件编写技巧(包会的,抄就完了)
本文介绍了Apache Flume的基础配置,包括数据源(Source)、数据通道(Channel)和数据处理器(Sink)三大部分。配置文件编写流程包括查阅官方文档、参考样例配置、实际操作配置。文章提供了一个经典例子,展示如何从本地端口收集数据并通过内存通道缓冲,最终记录到日志。配置流程包括声明组件、配置Source、Sink和Channel,然后将它们绑定。通过示例展示了如何配置HTTP Source和HDFS Sink,并给出了完整的配置文件示例及测试步骤,帮助读者理解Flume配置文件的编写。
|
3月前
|
Java Shell 分布式数据库
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
188 0
|
数据可视化 Java Linux
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
731 0
|
消息中间件 Kafka Shell
Kafka的保姆级简易安装启动、关闭注意事项、简单使用
Kafka的保姆级简易安装启动、关闭注意事项、简单使用
1123 0
|
缓存 资源调度 前端开发
📒十分钟快速入门Yarn包管理工具
📒十分钟快速入门Yarn包管理工具
234 4
📒十分钟快速入门Yarn包管理工具
|
监控 网络协议 Java
Nifi 安装-1 | 学习笔记
快速学习 Nifi 安装-1
734 0
Nifi 安装-1  |  学习笔记