在CDH7.1.1中安装NiFi

简介: 在CDH7.1.1中安装NiFi

NiFi在大数据生态中的定位是成为一个统一的,与数据源无关的大数据集成平台。Cloudera将NiFi作为其新产品Cloudera Flow Management和Cloudera Edge Management的核心组件推出,可以方便地使用Cloudera Manager进行Parcel安装和集成。于此同时,Flume被移出了Cloudera Runtime,可见NiFi替换Flume的意图已经十分明显。

根据Cloudera官网介绍,CFM和CEM将为IOT场景的边缘数据收集和处理带来无限可能,这是最吸引我的地方。本篇文章主要介绍如何在CDH7.1.1中通过Parcel的方式安装NiFi,后续我们将围绕实际IOT场景,从架构,可用性,健壮性等方面来探索NiFi技术带来的改变。

部署CFM Parcel包

1.下载CFM的Parcel

http://archive.cloudera.com/CFM/parcels/1.0.1.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel.sha1

2.将Parcel文件部署在Apache服务的/var/www/html/cfm目录下

安装CSD文件

3.将下载好的三个jar包放在CM所在的/opt/cloudera/csd目录下

4.重启cloudera-scm-server服务

5.配置CFM的Parcel库

6.下载激活

安装CFM服务

安装NiFi Toolkit CA

1.进入CM主页,选择“添加服务”,选择“NiFi CA Service”,点击“继续”

2.选择NiFi Toolkit和Gateway节点,点击“继续”。

3.输入NiFi CA Token,token必须16个字符或以上,点击“继续”

4.首次运行NiFi CA,点击“继续”

5.完成NiFi CA服务的安装

安装NiFi Registry

1.进入CM主页,选择“添加服务”, 选择“NiFi Registry”,点击“继续”

2.选择NiFi Registry节点,点击“继续”

3.保持默认配置,不做修改,点击“继续”

4.首次运行NiFi Registry,点击“继续”

5.完成NiFi Registry服务的安装

安装NiFi

1.进入CM主页,选择“添加服务”, 选择“NiFi”,点击“继续”

2.选择NiFi的依赖服务,这里我们选择NiFi CA和Zookeeper,需要注意的是NiFi集群需要使用到Zookeeper,点击“继续”

3.选择NiFi节点,点击“继续”。

4.保持默认配置,不做修改,点击“继续”

5.首次运行NiFi Registry,点击“继续”

6.完成NiFi Registry服务的安装

重启Cloudera Management Service

1.重启CMS,否则CM无法监控新增的三个服务包括NiFi Toolkit CA,NiFi Registry和NiFi

2.回到CM主页查看3个NiFi相关服务运行正常。

登录NiFi的Web页面


相关文章
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
2827 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
vue2自定义指令-加载指令v-loading和占位图指令v-showimg
vue2自定义指令-加载指令v-loading和占位图指令v-showimg
|
5月前
|
人工智能 自然语言处理 算法
阿里云 AI 搜索开放平台:从算法到业务——AI 搜索驱动企业智能化升级
本文介绍了阿里云 AI 搜索开放平台的技术的特点及其在各行业的应用。
632 3
|
11月前
|
Java Linux 网络安全
NIFI在Linux服务区上的部署配置过程是什么?
【10月更文挑战第21天】NIFI在Linux服务区上的部署配置过程是什么?
380 2
|
7月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
631 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
7月前
|
人工智能 Cloud Native 安全
AI云全面支撑大模型落地!一文看完2025企业用云十大趋势
AI云全面支撑大模型落地!一文看完2025企业用云十大趋势
580 1
|
7月前
|
存储 人工智能 算法
云工开物合作动态丨阿里云人工智能通识教学合作
阿里云人工智能通识教学合作为高校提供全面支持,包括视频理论课、动手实践课、AI实践平台、教学管理平台、专属算力资源及线下workshop。
|
数据采集 物联网 大数据
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
2189 0
|
存储 Linux 项目管理
centos7离线安装harbor
centos7离线安装harbor
380 0
|
Kubernetes Linux 网络安全
在K8S中,nodePort默认端口范围是多少? 为什么是这个端口范围?
在K8S中,nodePort默认端口范围是多少? 为什么是这个端口范围?