Nifi 安装-1 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 Nifi 安装-1

开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段)Nifi 安装-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/705/detail/12511


Nifi 安装-1

内容介绍

一、Nifi 安装步骤  

Nifi 的入门阶段,有9个课程目标:

1.要求能够安装 Nifi

2.要求能够了解 Nifi 的处理器

3.要求能够了解 Nifi 的其它组件

4.要求能够使用 Nifi 进行简单场景的练习操作

5.要求能够了解 Nifi 处理器的大致分类

6.要求能够了解 Nifi 处理器核心的属性

7.要求了解 Nifi 的模板

8.要求了解 Nifi 的监控功能

9.了解数据来源功能


一、Nifi 安装步骤

1.常用术语

首先,Nifi 当中,最常用的两个术语:flowfile、processor,flowfile 是每一条用户的数据,用户带到 Nifi 中需要进行处理和分发的数据,叫 flowfile,flowfile 由两部分组成,属性、内容,content 是用户数据本身,而属性是和用户数据相关联的键值对,例如名称、ID 或者自定义的属性,最经常用的术语必须要记住,第二个术语是 processor,处理器是Nifi 当中的核心组件,负责创建、发送、接收、转换、路由、拆分以及合并和处理 flowfile,处理器是用户用于构建数据流的最重要的构建块,prosess 处理的是 flowfile。

2.云讯环境准备

进入安装阶段,首先要环境准备,Nifi 的环境可以基于 windows,也可以基于 linux,因为它是基于 java 开发的,所以在安装 Nifi 之前,需要先安装好 jdk,Nifi1.*需要 gdk 1.8,而0.*需要 jdk 1.7以上,maven 要求至少是3.1.0以上的版本。

3.下载

下载地址如下: https:/larchive.apache.org/dist/nifi/1.9.2/ 可以直接到地址,进行下载,在课程资料当中提供有 Nifi 的安装文件,可以直接使用。在链接中,以下是 linux 安装包:

1.png  

以下是 windows 安装包: 

2.png

4.修改配置端口

注意不要下载错误。下载完之后,就需要进行安装,在安装之前,需要先修改端口号配置,默认端口号是8080,把它改成58080:

134 # web properties #

135 nifi.web.war.directory=./ lib

136 nifi.web.http.host=

137 nifi.web.http.port=58080#修改默认端口为:58080

138 nifi.web.http.network.interface.default=

139 nifi.web.https.host=

140 nifi.web.https.port=

141 nifi.web.https.network.interface.defau1t=

142 nifi.web.jetty.working.directory=./work/jetty

配置文件在安装目录下的 config,config 目录下有 Nifi.property ,关键的键是 Nifi.web hdp.port:

配置文件位置: nifi-1.9.2/corif/nifi.properties

5.启动

配置完之后,就可以进行启动,分 windows 用户和 linux 用户两种情况,对于 windows 用户来说,进入 Nifi 的安装文件夹,在安装文件夹当中有 bin 目录,然后进入目录之后 run Nifi .byte 就可以进行启动,启动完以后,按 CTRL+C 就可以关闭 Nifi 进程。一般来说,安装在 linux 服务器上。对于 linux 和 MAC 用户来说,进入到 Nifi 下的bin 下,运行 bin 下的 Nifi.SHRA,这种方式是在前台启动 Nifi 进程,直到用户按下 CTRL+C,Nifi 就会进行退出,如果想用后台的方式运行,可以使用 bin 目录下,如下命令进行启动:

(1)Nifi.sh“空格“start

使用该命令,会启动 Nifi,并且不断的运行,不会被终止,如果想要检查 Nifi 的运行状态,查看 Nifi 是否正在运行可以通过如下命令进行查看:

(2)Nifi.sh“空格“status

如果想要关闭 Nifi 进程,可以通过如下命令进行关闭: Nifi.sh stop 作为服务来安装,目前只支持 linux 和 MAC 两种操作系统,如果要想将 Nifi 应用程序作为服务器进行安装,首先需要进入到安装目录,执行如下命令:

(3)Nifi.sh install

通过该命令,就可以把 Nifi 安装到系统服务当中,如果想指定名称,可以使用另外参数进行执行,在 install 后,再加上参数,例如要把 Nifi 作为 dataflow 名称,进行服务的安装,可以在 install 后再加上空格,加上 dataflow,就会安装到系统服务当中,名字就叫 dataflow,安装以后,就可以使用适当的命令来启动和停止服务。没有服务的时候,通过 Nifi.sh start 和 STOP 启动和停止,安装成服务以后,就可以通过如下命令: service Nifi start 或 service Nifi stop 进行启动和停止, Nifi 是系统服务的名称,如果把服务通过命令改变,此处也要进行相应的改变。也可以通过如下命令检查 Nifi 服务的运行的状况:  service Nifi satus 以上主要以 LINUX 版本为例子,展示如何进行安装。以下是安装的所有步骤以及命令脚本:

##下载目录为/opt

#进入目录

cd /opt

#解压文件

tar zxvf nifi-1.9.2-bin.tar.gz

#得到目录: nifi-1.9.2,进入 bin 目录并查看目录内容

cd nifi-1.9.2/bin &&1s

#结果: dump-nifi.bat nifi-env.bat nifi-env.sh nifi.sh run-nifi.bat status-nifi.bat

#使用 nifi.sh 进行单机运行操作,常用参数如下:

# ./nifi.sh --he1p

# Usage nifi istart|stop | run | restart |status | dump |insta11}

##以下是常用命令

#启动:

./nifi.sh start

#关闭:

./nifi.sh stop

#重启:

./nifi.sh restart

#状态:

./nifi.sh status  

首先进入到安装目录下,可以自定义将安装文件夹上传到 linux 服务器或是虚拟机当中,然后进行解压,解压之后,进入到 bin 目录,查看目录结构,可以通过 Nifi.Sh 脚本来进行启动、停止、重新启动以及查看状态这样的操作,过程比较简单。

启动以后,需要等待1-5分钟,因为 Nifi 启动时,会先加载内存中的属性和变量,为了启动以后,能够更快速的执行,所以要进行等待。电脑配置越好,速度可能越快,在启动的过程中,可以通过查看日志的方式,查看是否报错或是否已经启动成功,查看日志有标识如下:  

#日志目录: nifi-1.9.2/logs

cd logs && tai1 -f nifi-app. 1og

#看到如下日志说明启动成功(ip 根据电脑的 ip 而定,可能不一样) 端口号是58080,如果有端口号,说明已经启动成功。日志在 Nifi 根目录下叫 logs 的文件夹,在 logs 文件夹下有文件叫做 Nifi/app.log,就是日志文件。成功以后,就可以通过 IP 地址加端口号/Nifi,进行访问。

6.操作:

打开虚拟机:

3.png

虚拟机在 Nifi_VM 文件夹:

4.png

文件夹保存的是初始状态的 Nifi 服务器,可以通过文件打开的方式,选中目录,进行粘贴,选中 vmx 后缀的文件,点击打开即可,打开以后,如果有提示,一定要选择已移动。有了虚拟机之后,要进行启动和 VM 的配置,主要是网络的配置,如果网络配置的不正确,可能会出现连接不通的情况,内存分配2g,处理器分配1核2线程,硬盘分配20g:

5.png如果硬盘空间充足,可以适当加上硬盘空间,因为随着数据量增加,处理能力的增加,Nifi 需要的磁盘空间会较大,最核心的网络适配器配置,尽量不要直接选择 nat 模式:

6.png

尽量选择自定义 nat 模式,选择 vm NAT8,vm NAT8配置有要求,可以通过如下操作进行查看和配置,点击编辑-虚拟机网络配置,打开以后,如图所示:

7.png 

主要使用8,8网段是52,如果网段不一样,要进行修改才可以使用,需要使用管理员的权限,才可以进行修改:

8.png

点击更改设置,进入更改设置以后,选中 VM8,选中以后,显示此时是52的网段,要保持一致,选中 nat 模式:

9.png

在 nat 设置按钮中,点击以后,网关 ip 选择192.168.52.1:

10.png

网关 ip 不是随意设置的,和配置有关系,例如打开虚拟机,点击更改视频器选项,即显示 vm NAT8。在vm NAN8当中查看属性:

11.png 

选中 ipv4:

12.png

点击属性,在该配置当中,默认网关也是192.168.52.1:

13.png

网关要和虚拟机当中配置网关一致。注意,windows 上的 IP 地址,不能和网关冲突,不能再写1。此时 DNS 服务器写了4个8,和训练机配置对照,尽量保持一致。进入到 linux 训机设置,端口转发不需要设置,取消以后,如图所示:

14.png 

再点击 dhcp 设置: 

15.png

有起始 IP 和结束 IP,设置为100-254,因为 IP 使用150,150正好处于两个 IP 地址之间,设置完毕,点击确定即可。注意,在虚拟机设置中,尽量手动选择网络适配器,选择自定义,选择为 M68:

16.png

尽量不要选择宽泛的 nat 模式,可能会出问题。设置完网络以及内存处理器以后,就可以启动虚拟机,启动的过程,可能会慢,如图所示:

17.png

此时虚拟机已经启动完成,启动之后,打开 linux 管理客户端来进行操作。连接的时候,可以在客户端当中,添加新的 section,配置属性如下:

18.png

house 要书写正确,虚拟机定义的 IP 地址是固定不变的,所以重启以后还是该 IP 地址,配置尽量不要修改,在启动时,会弹选项选择是已移动还是已复制,此时要选择已移动,如果选择已复制,就会把 IP 地址等一系列数据全部修改,此时,自己的 IP 地址就不可以用了,修改起来很麻烦,所以一定要选择已移动。填写 IP 地址,点击 OK,双击进行连接,这里的 IP 地址是192.168.52.150, windows IP 地址是192.168.52.6,可以拼通,证明服务器已经安装完成。 安装时需要注意 WINDOWS 上的防火墙要关闭,如果防火墙没有关闭,连接会有问题,虚拟机准备完成以后,就开始进行服务安装。

相关文章
|
消息中间件 大数据 关系型数据库
大数据框架NiFi
NiFi 是一个易于使用,功能强大,可靠的处理和分发数据框架。主要用于数据的同步传输,支持灵活的数据格式转换,同时可以设置定时调度任务,他是一个数据同步框架,类似于 kettle。
262 0
|
存储 监控 Java
NiFi 监控2 | 学习笔记
快速学习 NiFi 监控2
332 0
NiFi 监控2  |  学习笔记
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
2393 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2595 0
【NiFi】(一)NiFi 简介及核心概念
|
7月前
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
1072 0
|
存储 Java 调度
Nifi 的性能 | 学习笔记
快速学习 Nifi 的性能
397 0
|
Linux 开发者
Nifi 安装-2 | 学习笔记
快速学习 Nifi 安装-2
254 0
Nifi 安装-2  |  学习笔记
|
XML 数据格式 开发者
了解 Nifi 其他组件 | 学习笔记
快速学习了解 Nifi 其他组件
314 0
了解 Nifi 其他组件  |  学习笔记
|
存储 负载均衡 Java
Nifi 架构 | 学习笔记
快速学习 Nifi 架构
293 0
Nifi 架构  |  学习笔记
|
监控 Java 开发者
NiFi 监控1 | 学习笔记
快速学习 NiFi 监控1
172 0
NiFi 监控1  |  学习笔记