Nifi 安装-1 | 学习笔记

简介: 快速学习 Nifi 安装-1

开发者学堂课程【NiFi 知识精讲与项目实战(第一阶段)Nifi 安装-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/705/detail/12511


Nifi 安装-1

内容介绍

一、Nifi 安装步骤  

Nifi 的入门阶段,有9个课程目标:

1.要求能够安装 Nifi

2.要求能够了解 Nifi 的处理器

3.要求能够了解 Nifi 的其它组件

4.要求能够使用 Nifi 进行简单场景的练习操作

5.要求能够了解 Nifi 处理器的大致分类

6.要求能够了解 Nifi 处理器核心的属性

7.要求了解 Nifi 的模板

8.要求了解 Nifi 的监控功能

9.了解数据来源功能


一、Nifi 安装步骤

1.常用术语

首先,Nifi 当中,最常用的两个术语:flowfile、processor,flowfile 是每一条用户的数据,用户带到 Nifi 中需要进行处理和分发的数据,叫 flowfile,flowfile 由两部分组成,属性、内容,content 是用户数据本身,而属性是和用户数据相关联的键值对,例如名称、ID 或者自定义的属性,最经常用的术语必须要记住,第二个术语是 processor,处理器是Nifi 当中的核心组件,负责创建、发送、接收、转换、路由、拆分以及合并和处理 flowfile,处理器是用户用于构建数据流的最重要的构建块,prosess 处理的是 flowfile。

2.云讯环境准备

进入安装阶段,首先要环境准备,Nifi 的环境可以基于 windows,也可以基于 linux,因为它是基于 java 开发的,所以在安装 Nifi 之前,需要先安装好 jdk,Nifi1.*需要 gdk 1.8,而0.*需要 jdk 1.7以上,maven 要求至少是3.1.0以上的版本。

3.下载

下载地址如下: https:/larchive.apache.org/dist/nifi/1.9.2/ 可以直接到地址,进行下载,在课程资料当中提供有 Nifi 的安装文件,可以直接使用。在链接中,以下是 linux 安装包:

1.png  

以下是 windows 安装包: 

2.png

4.修改配置端口

注意不要下载错误。下载完之后,就需要进行安装,在安装之前,需要先修改端口号配置,默认端口号是8080,把它改成58080:

134 # web properties #

135 nifi.web.war.directory=./ lib

136 nifi.web.http.host=

137 nifi.web.http.port=58080#修改默认端口为:58080

138 nifi.web.http.network.interface.default=

139 nifi.web.https.host=

140 nifi.web.https.port=

141 nifi.web.https.network.interface.defau1t=

142 nifi.web.jetty.working.directory=./work/jetty

配置文件在安装目录下的 config,config 目录下有 Nifi.property ,关键的键是 Nifi.web hdp.port:

配置文件位置: nifi-1.9.2/corif/nifi.properties

5.启动

配置完之后,就可以进行启动,分 windows 用户和 linux 用户两种情况,对于 windows 用户来说,进入 Nifi 的安装文件夹,在安装文件夹当中有 bin 目录,然后进入目录之后 run Nifi .byte 就可以进行启动,启动完以后,按 CTRL+C 就可以关闭 Nifi 进程。一般来说,安装在 linux 服务器上。对于 linux 和 MAC 用户来说,进入到 Nifi 下的bin 下,运行 bin 下的 Nifi.SHRA,这种方式是在前台启动 Nifi 进程,直到用户按下 CTRL+C,Nifi 就会进行退出,如果想用后台的方式运行,可以使用 bin 目录下,如下命令进行启动:

(1)Nifi.sh“空格“start

使用该命令,会启动 Nifi,并且不断的运行,不会被终止,如果想要检查 Nifi 的运行状态,查看 Nifi 是否正在运行可以通过如下命令进行查看:

(2)Nifi.sh“空格“status

如果想要关闭 Nifi 进程,可以通过如下命令进行关闭: Nifi.sh stop 作为服务来安装,目前只支持 linux 和 MAC 两种操作系统,如果要想将 Nifi 应用程序作为服务器进行安装,首先需要进入到安装目录,执行如下命令:

(3)Nifi.sh install

通过该命令,就可以把 Nifi 安装到系统服务当中,如果想指定名称,可以使用另外参数进行执行,在 install 后,再加上参数,例如要把 Nifi 作为 dataflow 名称,进行服务的安装,可以在 install 后再加上空格,加上 dataflow,就会安装到系统服务当中,名字就叫 dataflow,安装以后,就可以使用适当的命令来启动和停止服务。没有服务的时候,通过 Nifi.sh start 和 STOP 启动和停止,安装成服务以后,就可以通过如下命令: service Nifi start 或 service Nifi stop 进行启动和停止, Nifi 是系统服务的名称,如果把服务通过命令改变,此处也要进行相应的改变。也可以通过如下命令检查 Nifi 服务的运行的状况:  service Nifi satus 以上主要以 LINUX 版本为例子,展示如何进行安装。以下是安装的所有步骤以及命令脚本:

##下载目录为/opt

#进入目录

cd /opt

#解压文件

tar zxvf nifi-1.9.2-bin.tar.gz

#得到目录: nifi-1.9.2,进入 bin 目录并查看目录内容

cd nifi-1.9.2/bin &&1s

#结果: dump-nifi.bat nifi-env.bat nifi-env.sh nifi.sh run-nifi.bat status-nifi.bat

#使用 nifi.sh 进行单机运行操作,常用参数如下:

# ./nifi.sh --he1p

# Usage nifi istart|stop | run | restart |status | dump |insta11}

##以下是常用命令

#启动:

./nifi.sh start

#关闭:

./nifi.sh stop

#重启:

./nifi.sh restart

#状态:

./nifi.sh status  

首先进入到安装目录下,可以自定义将安装文件夹上传到 linux 服务器或是虚拟机当中,然后进行解压,解压之后,进入到 bin 目录,查看目录结构,可以通过 Nifi.Sh 脚本来进行启动、停止、重新启动以及查看状态这样的操作,过程比较简单。

启动以后,需要等待1-5分钟,因为 Nifi 启动时,会先加载内存中的属性和变量,为了启动以后,能够更快速的执行,所以要进行等待。电脑配置越好,速度可能越快,在启动的过程中,可以通过查看日志的方式,查看是否报错或是否已经启动成功,查看日志有标识如下:  

#日志目录: nifi-1.9.2/logs

cd logs && tai1 -f nifi-app. 1og

#看到如下日志说明启动成功(ip 根据电脑的 ip 而定,可能不一样) 端口号是58080,如果有端口号,说明已经启动成功。日志在 Nifi 根目录下叫 logs 的文件夹,在 logs 文件夹下有文件叫做 Nifi/app.log,就是日志文件。成功以后,就可以通过 IP 地址加端口号/Nifi,进行访问。

6.操作:

打开虚拟机:

3.png

虚拟机在 Nifi_VM 文件夹:

4.png

文件夹保存的是初始状态的 Nifi 服务器,可以通过文件打开的方式,选中目录,进行粘贴,选中 vmx 后缀的文件,点击打开即可,打开以后,如果有提示,一定要选择已移动。有了虚拟机之后,要进行启动和 VM 的配置,主要是网络的配置,如果网络配置的不正确,可能会出现连接不通的情况,内存分配2g,处理器分配1核2线程,硬盘分配20g:

5.png如果硬盘空间充足,可以适当加上硬盘空间,因为随着数据量增加,处理能力的增加,Nifi 需要的磁盘空间会较大,最核心的网络适配器配置,尽量不要直接选择 nat 模式:

6.png

尽量选择自定义 nat 模式,选择 vm NAT8,vm NAT8配置有要求,可以通过如下操作进行查看和配置,点击编辑-虚拟机网络配置,打开以后,如图所示:

7.png 

主要使用8,8网段是52,如果网段不一样,要进行修改才可以使用,需要使用管理员的权限,才可以进行修改:

8.png

点击更改设置,进入更改设置以后,选中 VM8,选中以后,显示此时是52的网段,要保持一致,选中 nat 模式:

9.png

在 nat 设置按钮中,点击以后,网关 ip 选择192.168.52.1:

10.png

网关 ip 不是随意设置的,和配置有关系,例如打开虚拟机,点击更改视频器选项,即显示 vm NAT8。在vm NAN8当中查看属性:

11.png 

选中 ipv4:

12.png

点击属性,在该配置当中,默认网关也是192.168.52.1:

13.png

网关要和虚拟机当中配置网关一致。注意,windows 上的 IP 地址,不能和网关冲突,不能再写1。此时 DNS 服务器写了4个8,和训练机配置对照,尽量保持一致。进入到 linux 训机设置,端口转发不需要设置,取消以后,如图所示:

14.png 

再点击 dhcp 设置: 

15.png

有起始 IP 和结束 IP,设置为100-254,因为 IP 使用150,150正好处于两个 IP 地址之间,设置完毕,点击确定即可。注意,在虚拟机设置中,尽量手动选择网络适配器,选择自定义,选择为 M68:

16.png

尽量不要选择宽泛的 nat 模式,可能会出问题。设置完网络以及内存处理器以后,就可以启动虚拟机,启动的过程,可能会慢,如图所示:

17.png

此时虚拟机已经启动完成,启动之后,打开 linux 管理客户端来进行操作。连接的时候,可以在客户端当中,添加新的 section,配置属性如下:

18.png

house 要书写正确,虚拟机定义的 IP 地址是固定不变的,所以重启以后还是该 IP 地址,配置尽量不要修改,在启动时,会弹选项选择是已移动还是已复制,此时要选择已移动,如果选择已复制,就会把 IP 地址等一系列数据全部修改,此时,自己的 IP 地址就不可以用了,修改起来很麻烦,所以一定要选择已移动。填写 IP 地址,点击 OK,双击进行连接,这里的 IP 地址是192.168.52.150, windows IP 地址是192.168.52.6,可以拼通,证明服务器已经安装完成。 安装时需要注意 WINDOWS 上的防火墙要关闭,如果防火墙没有关闭,连接会有问题,虚拟机准备完成以后,就开始进行服务安装。

相关文章
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
3376 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
|
数据可视化 关系型数据库 MySQL
Apache NiFi之MySQL数据同步
一.简述 Apache NiFi是一个易用、强大、可靠的数据处理与分发系统,Apache NiFi的设计目标是自动化管理系统间的数据流Apache NiFi是美国国家安全局(NSA)开发和使用了8年的一个可视化、可定制的数据集产品。
6638 0
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
3305 0
|
Web App开发 安全 Linux
Linux 比起其他系统的5 个优点和 5 个缺点
对Linux系统感兴趣的朋友,可以点击下方书籍进行学习。
|
搜索推荐 数据挖掘 API
电商发展的强大助推器:淘宝API
淘宝API是阿里巴巴为开发者提供的访问淘宝开放平台(TOP)的接口,连接淘宝电商生态系统与外部应用。它支持商品管理、订单处理、用户信息和营销推广等功能,帮助开发者轻松获取商品信息、处理订单、管理会员和进行数据分析。通过淘宝API,电商企业能提高效率、降低成本、增加收入并优化用户体验。其应用广泛,涵盖电商平台建设、价格比较、市场研究及移动应用开发等领域。未来,淘宝API将融合人工智能、拓展生态合作并加强数据安全,持续推动电商行业发展。
1253 34
|
前端开发 Java 程序员
程序员的宝藏图标资源库:Icons8一键解锁高效设计
🌟 ​大家好,我是摘星!​ 🌟今天为大家带来的是程序员的宝藏图标资源库:Icons8一键解锁高效设计,以前做项目时,找图标要么付费、要么质量差、要么风格不统一,今天偶然间在搜索springboot logo的发现了 Icons8,简直打开了我写文档的新世界的大门!怀着激动的心情,迫不及待的写下这篇文章将这个网站分享给大家,废话不多说,让我们直接开始~
1808 0
|
分布式计算 Spark
【赵渝强老师】Spark RDD的依赖关系和任务阶段
Spark RDD之间的依赖关系分为窄依赖和宽依赖。窄依赖指父RDD的每个分区最多被一个子RDD分区使用,如map、filter操作;宽依赖则指父RDD的每个分区被多个子RDD分区使用,如分组和某些join操作。窄依赖任务可在同一阶段完成,而宽依赖因Shuffle的存在需划分不同阶段执行。借助Spark Web Console可查看任务的DAG图及阶段划分。
895 15
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
1742 0
|
C# 图形学
unity抛物线的制作
该教程展示了如何在Unity中使用LineRenderer组件和C#脚本绘制抛物线。具体步骤如下:创建一个空物体并添加LineRenderer组件,挂载提供的`SeletParabola`脚本;新建两个Cube作为起点和终点,并将其拖到脚本对应的公共变量上。运行后即可看到从起点到终点的抛物线效果。代码通过计算抛物线上的点并设置给LineRenderer来实现这一效果。此外,还可以为LineRenderer添加贴图以增强视觉效果。
|
SQL XML JSON
大数据ETL开发之图解Kettle工具(入门到精通)
ETL (Extract-Transform-Load 的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少。
9215 0
大数据ETL开发之图解Kettle工具(入门到精通)