在CDH7.1.1中安装NiFi

简介: 在CDH7.1.1中安装NiFi

NiFi在大数据生态中的定位是成为一个统一的,与数据源无关的大数据集成平台。Cloudera将NiFi作为其新产品Cloudera Flow Management和Cloudera Edge Management的核心组件推出,可以方便地使用Cloudera Manager进行Parcel安装和集成。于此同时,Flume被移出了Cloudera Runtime,可见NiFi替换Flume的意图已经十分明显。

根据Cloudera官网介绍,CFM和CEM将为IOT场景的边缘数据收集和处理带来无限可能,这是最吸引我的地方。本篇文章主要介绍如何在CDH7.1.1中通过Parcel的方式安装NiFi,后续我们将围绕实际IOT场景,从架构,可用性,健壮性等方面来探索NiFi技术带来的改变。

部署CFM Parcel包

1.下载CFM的Parcel

http://archive.cloudera.com/CFM/parcels/1.0.1.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel.sha1

2.将Parcel文件部署在Apache服务的/var/www/html/cfm目录下

安装CSD文件

3.将下载好的三个jar包放在CM所在的/opt/cloudera/csd目录下

4.重启cloudera-scm-server服务

5.配置CFM的Parcel库

6.下载激活

安装CFM服务

安装NiFi Toolkit CA

1.进入CM主页,选择“添加服务”,选择“NiFi CA Service”,点击“继续”

2.选择NiFi Toolkit和Gateway节点,点击“继续”。

3.输入NiFi CA Token,token必须16个字符或以上,点击“继续”

4.首次运行NiFi CA,点击“继续”

5.完成NiFi CA服务的安装

安装NiFi Registry

1.进入CM主页,选择“添加服务”, 选择“NiFi Registry”,点击“继续”

2.选择NiFi Registry节点,点击“继续”

3.保持默认配置,不做修改,点击“继续”

4.首次运行NiFi Registry,点击“继续”

5.完成NiFi Registry服务的安装

安装NiFi

1.进入CM主页,选择“添加服务”, 选择“NiFi”,点击“继续”

2.选择NiFi的依赖服务,这里我们选择NiFi CA和Zookeeper,需要注意的是NiFi集群需要使用到Zookeeper,点击“继续”

3.选择NiFi节点,点击“继续”。

4.保持默认配置,不做修改,点击“继续”

5.首次运行NiFi Registry,点击“继续”

6.完成NiFi Registry服务的安装

重启Cloudera Management Service

1.重启CMS,否则CM无法监控新增的三个服务包括NiFi Toolkit CA,NiFi Registry和NiFi

2.回到CM主页查看3个NiFi相关服务运行正常。

登录NiFi的Web页面


相关文章
|
9月前
|
存储 安全 关系型数据库
安装CDH7.1.1
安装CDH7.1.1
209 0
|
分布式计算 Ubuntu Hadoop
大数据开发之Hadoop 伪分布式安装(2)
你好看官,里面请!今天笔者讲的是大数据开发之Hadoop 伪分布式安装(2)。不懂或者觉得我写的有问题可以在评论区留言,我看到会及时回复。 注意:本文仅用于学习参考,不可用于商业用途,如需转载请跟我联系。
108 1
大数据开发之Hadoop 伪分布式安装(2)
|
分布式计算 Ubuntu 安全
大数据开发之Hadoop 伪分布式安装(1)
你好看官,里面请!今天笔者讲的是大数据开发之Hadoop 伪分布式安装(1)。不懂或者觉得我写的有问题可以在评论区留言,我看到会及时回复。 注意:本文仅用于学习参考,不可用于商业用途,如需转载请跟我联系。
140 0
大数据开发之Hadoop 伪分布式安装(1)
|
存储 XML 分布式计算
大数据开发之Hadoop 伪分布式安装(3)
你好看官,里面请!今天笔者讲的是大数据开发之Hadoop 伪分布式安装(3)。不懂或者觉得我写的有问题可以在评论区留言,我看到会及时回复。 注意:本文仅用于学习参考,不可用于商业用途,如需转载请跟我联系。
162 1
大数据开发之Hadoop 伪分布式安装(3)
|
分布式计算 资源调度 Hadoop
CDH 搭建_ Hadoop _安装包|学习笔记
快速学习 CDH 搭建_ Hadoop _安装包
198 0
CDH 搭建_ Hadoop _安装包|学习笔记
|
资源调度 分布式计算 Hadoop
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
快速学习 CDH 搭建_ Hadoop _ Yarn 搭建
162 0
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
|
SQL 分布式计算 资源调度
Flink on Yarn编译的Parcels包到CDH集群实录
学习一个东西,个人认为最好的方式是:官网+源码+实践 Flink官网:http://flink.apache.org
553 1
Flink on Yarn编译的Parcels包到CDH集群实录
|
SQL 关系型数据库 Java
hadoop伪分布式安装部署HIVE
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
1705 0
|
分布式计算 Hadoop
使用 Ambari 安装 Hadoop 集群
转自:使用 Ambari 安装 Hadoop 集群
913 0