Nifi 安装-1 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 Nifi 安装-1

开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段)Nifi 安装-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/705/detail/12511


Nifi 安装-1

内容介绍

一、Nifi 安装步骤  

Nifi 的入门阶段,有9个课程目标:

1.要求能够安装 Nifi

2.要求能够了解 Nifi 的处理器

3.要求能够了解 Nifi 的其它组件

4.要求能够使用 Nifi 进行简单场景的练习操作

5.要求能够了解 Nifi 处理器的大致分类

6.要求能够了解 Nifi 处理器核心的属性

7.要求了解 Nifi 的模板

8.要求了解 Nifi 的监控功能

9.了解数据来源功能


一、Nifi 安装步骤

1.常用术语

首先,Nifi 当中,最常用的两个术语:flowfile、processor,flowfile 是每一条用户的数据,用户带到 Nifi 中需要进行处理和分发的数据,叫 flowfile,flowfile 由两部分组成,属性、内容,content 是用户数据本身,而属性是和用户数据相关联的键值对,例如名称、ID 或者自定义的属性,最经常用的术语必须要记住,第二个术语是 processor,处理器是Nifi 当中的核心组件,负责创建、发送、接收、转换、路由、拆分以及合并和处理 flowfile,处理器是用户用于构建数据流的最重要的构建块,prosess 处理的是 flowfile。

2.云讯环境准备

进入安装阶段,首先要环境准备,Nifi 的环境可以基于 windows,也可以基于 linux,因为它是基于 java 开发的,所以在安装 Nifi 之前,需要先安装好 jdk,Nifi1.*需要 gdk 1.8,而0.*需要 jdk 1.7以上,maven 要求至少是3.1.0以上的版本。

3.下载

下载地址如下: https:/larchive.apache.org/dist/nifi/1.9.2/ 可以直接到地址,进行下载,在课程资料当中提供有 Nifi 的安装文件,可以直接使用。在链接中,以下是 linux 安装包:

1.png  

以下是 windows 安装包: 

2.png

4.修改配置端口

注意不要下载错误。下载完之后,就需要进行安装,在安装之前,需要先修改端口号配置,默认端口号是8080,把它改成58080:

134 # web properties #

135 nifi.web.war.directory=./ lib

136 nifi.web.http.host=

137 nifi.web.http.port=58080#修改默认端口为:58080

138 nifi.web.http.network.interface.default=

139 nifi.web.https.host=

140 nifi.web.https.port=

141 nifi.web.https.network.interface.defau1t=

142 nifi.web.jetty.working.directory=./work/jetty

配置文件在安装目录下的 config,config 目录下有 Nifi.property ,关键的键是 Nifi.web hdp.port:

配置文件位置: nifi-1.9.2/corif/nifi.properties

5.启动

配置完之后,就可以进行启动,分 windows 用户和 linux 用户两种情况,对于 windows 用户来说,进入 Nifi 的安装文件夹,在安装文件夹当中有 bin 目录,然后进入目录之后 run Nifi .byte 就可以进行启动,启动完以后,按 CTRL+C 就可以关闭 Nifi 进程。一般来说,安装在 linux 服务器上。对于 linux 和 MAC 用户来说,进入到 Nifi 下的bin 下,运行 bin 下的 Nifi.SHRA,这种方式是在前台启动 Nifi 进程,直到用户按下 CTRL+C,Nifi 就会进行退出,如果想用后台的方式运行,可以使用 bin 目录下,如下命令进行启动:

(1)Nifi.sh“空格“start

使用该命令,会启动 Nifi,并且不断的运行,不会被终止,如果想要检查 Nifi 的运行状态,查看 Nifi 是否正在运行可以通过如下命令进行查看:

(2)Nifi.sh“空格“status

如果想要关闭 Nifi 进程,可以通过如下命令进行关闭: Nifi.sh stop 作为服务来安装,目前只支持 linux 和 MAC 两种操作系统,如果要想将 Nifi 应用程序作为服务器进行安装,首先需要进入到安装目录,执行如下命令:

(3)Nifi.sh install

通过该命令,就可以把 Nifi 安装到系统服务当中,如果想指定名称,可以使用另外参数进行执行,在 install 后,再加上参数,例如要把 Nifi 作为 dataflow 名称,进行服务的安装,可以在 install 后再加上空格,加上 dataflow,就会安装到系统服务当中,名字就叫 dataflow,安装以后,就可以使用适当的命令来启动和停止服务。没有服务的时候,通过 Nifi.sh start 和 STOP 启动和停止,安装成服务以后,就可以通过如下命令: service Nifi start 或 service Nifi stop 进行启动和停止, Nifi 是系统服务的名称,如果把服务通过命令改变,此处也要进行相应的改变。也可以通过如下命令检查 Nifi 服务的运行的状况:  service Nifi satus 以上主要以 LINUX 版本为例子,展示如何进行安装。以下是安装的所有步骤以及命令脚本:

##下载目录为/opt

#进入目录

cd /opt

#解压文件

tar zxvf nifi-1.9.2-bin.tar.gz

#得到目录: nifi-1.9.2,进入 bin 目录并查看目录内容

cd nifi-1.9.2/bin &&1s

#结果: dump-nifi.bat nifi-env.bat nifi-env.sh nifi.sh run-nifi.bat status-nifi.bat

#使用 nifi.sh 进行单机运行操作,常用参数如下:

# ./nifi.sh --he1p

# Usage nifi istart|stop | run | restart |status | dump |insta11}

##以下是常用命令

#启动:

./nifi.sh start

#关闭:

./nifi.sh stop

#重启:

./nifi.sh restart

#状态:

./nifi.sh status  

首先进入到安装目录下,可以自定义将安装文件夹上传到 linux 服务器或是虚拟机当中,然后进行解压,解压之后,进入到 bin 目录,查看目录结构,可以通过 Nifi.Sh 脚本来进行启动、停止、重新启动以及查看状态这样的操作,过程比较简单。

启动以后,需要等待1-5分钟,因为 Nifi 启动时,会先加载内存中的属性和变量,为了启动以后,能够更快速的执行,所以要进行等待。电脑配置越好,速度可能越快,在启动的过程中,可以通过查看日志的方式,查看是否报错或是否已经启动成功,查看日志有标识如下:  

#日志目录: nifi-1.9.2/logs

cd logs && tai1 -f nifi-app. 1og

#看到如下日志说明启动成功(ip 根据电脑的 ip 而定,可能不一样) 端口号是58080,如果有端口号,说明已经启动成功。日志在 Nifi 根目录下叫 logs 的文件夹,在 logs 文件夹下有文件叫做 Nifi/app.log,就是日志文件。成功以后,就可以通过 IP 地址加端口号/Nifi,进行访问。

6.操作:

打开虚拟机:

3.png

虚拟机在 Nifi_VM 文件夹:

4.png

文件夹保存的是初始状态的 Nifi 服务器,可以通过文件打开的方式,选中目录,进行粘贴,选中 vmx 后缀的文件,点击打开即可,打开以后,如果有提示,一定要选择已移动。有了虚拟机之后,要进行启动和 VM 的配置,主要是网络的配置,如果网络配置的不正确,可能会出现连接不通的情况,内存分配2g,处理器分配1核2线程,硬盘分配20g:

5.png如果硬盘空间充足,可以适当加上硬盘空间,因为随着数据量增加,处理能力的增加,Nifi 需要的磁盘空间会较大,最核心的网络适配器配置,尽量不要直接选择 nat 模式:

6.png

尽量选择自定义 nat 模式,选择 vm NAT8,vm NAT8配置有要求,可以通过如下操作进行查看和配置,点击编辑-虚拟机网络配置,打开以后,如图所示:

7.png 

主要使用8,8网段是52,如果网段不一样,要进行修改才可以使用,需要使用管理员的权限,才可以进行修改:

8.png

点击更改设置,进入更改设置以后,选中 VM8,选中以后,显示此时是52的网段,要保持一致,选中 nat 模式:

9.png

在 nat 设置按钮中,点击以后,网关 ip 选择192.168.52.1:

10.png

网关 ip 不是随意设置的,和配置有关系,例如打开虚拟机,点击更改视频器选项,即显示 vm NAT8。在vm NAN8当中查看属性:

11.png 

选中 ipv4:

12.png

点击属性,在该配置当中,默认网关也是192.168.52.1:

13.png

网关要和虚拟机当中配置网关一致。注意,windows 上的 IP 地址,不能和网关冲突,不能再写1。此时 DNS 服务器写了4个8,和训练机配置对照,尽量保持一致。进入到 linux 训机设置,端口转发不需要设置,取消以后,如图所示:

14.png 

再点击 dhcp 设置: 

15.png

有起始 IP 和结束 IP,设置为100-254,因为 IP 使用150,150正好处于两个 IP 地址之间,设置完毕,点击确定即可。注意,在虚拟机设置中,尽量手动选择网络适配器,选择自定义,选择为 M68:

16.png

尽量不要选择宽泛的 nat 模式,可能会出问题。设置完网络以及内存处理器以后,就可以启动虚拟机,启动的过程,可能会慢,如图所示:

17.png

此时虚拟机已经启动完成,启动之后,打开 linux 管理客户端来进行操作。连接的时候,可以在客户端当中,添加新的 section,配置属性如下:

18.png

house 要书写正确,虚拟机定义的 IP 地址是固定不变的,所以重启以后还是该 IP 地址,配置尽量不要修改,在启动时,会弹选项选择是已移动还是已复制,此时要选择已移动,如果选择已复制,就会把 IP 地址等一系列数据全部修改,此时,自己的 IP 地址就不可以用了,修改起来很麻烦,所以一定要选择已移动。填写 IP 地址,点击 OK,双击进行连接,这里的 IP 地址是192.168.52.150, windows IP 地址是192.168.52.6,可以拼通,证明服务器已经安装完成。 安装时需要注意 WINDOWS 上的防火墙要关闭,如果防火墙没有关闭,连接会有问题,虚拟机准备完成以后,就开始进行服务安装。

相关文章
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
2918 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
|
监控 druid Java
Spring Boot 3 集成 Druid 连接池详解
在现代的Java应用中,使用一个高效可靠的数据源是至关重要的。Druid连接池作为一款强大的数据库连接池,提供了丰富的监控和管理功能,成为很多Java项目的首选。本文将详细介绍如何在Spring Boot 3项目中配置数据源,集成Druid连接池,以实现更高效的数据库连接管理。
10229 2
Spring Boot 3 集成 Druid 连接池详解
|
应用服务中间件 nginx
百度搜索:蓝易云【利用nginx内置ngx_http_mirror_module模块实现流量复制及流量放大】
以上就是使用Nginx内置 `ngx_http_mirror_module`模块实现流量复制和流量放大的简要示例。通过合理配置和利用该模块,可以实现更复杂的流量控制和调试需求。
302 1
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
3066 0
【NiFi】(一)NiFi 简介及核心概念
|
存储 缓存 资源调度
想了解流计算,你必须得看一眼,实现Flink on Yarn的三种部署方式,并运行wordcount
想了解流计算,你必须得看一眼,实现Flink on Yarn的三种部署方式,并运行wordcount
1665 0
想了解流计算,你必须得看一眼,实现Flink on Yarn的三种部署方式,并运行wordcount
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
2383 0
|
8月前
|
人工智能 算法 调度
实时云渲染助力全息影像突破终端算力瓶颈
全息技术、体积视频与高斯溅射是三维动态内容实时生成与传输的关键技术,但硬件成本、数据量大及多终端适配等问题制约其发展。实时云渲染成为关键解决方案,通过云端GPU资源池化与弹性调度,大幅降低算力门槛。LarkXR平台整合动态捕捉与AI算法,实现毫米级精度的三维重建,并优化传输架构,解决弱网环境下的延迟与带宽问题。在体育赛事、虚拟时尚及全息演唱会等领域,LarkXR助力开发者打造沉浸式体验,如NBA全息战术、巴黎高定秀场和虚拟偶像演唱会,推动全息技术从专业领域走向大众消费场景,开创全新商业价值。
|
Java API 持续交付
apache nifi 如何进行二次开发?
【10月更文挑战第23天】apache nifi 如何进行二次开发?
600 2
|
11月前
|
存储 Oracle 关系型数据库
数据库数据恢复—ORACLE常见故障的数据恢复方案
Oracle数据库常见故障表现: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE ASM存储破坏。 3、ORACLE数据文件丢失。 4、ORACLE数据文件部分损坏。 5、ORACLE DUMP文件损坏。
433 11
|
Java Linux 网络安全
NIFI在Linux服务区上的部署配置过程是什么?
【10月更文挑战第21天】NIFI在Linux服务区上的部署配置过程是什么?
428 2