一.简述

Apache NiFi是一个易用、强大、可靠的数据处理与分发系统，Apache NiFi的设计目标是自动化管理系统间的数据流
Apache NiFi是美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集产品。2014年NSA将其贡献给Apache开源社区，2015年7月成功成为Apache的顶级项目
Apache NiFi是一个基于web-ui用户界面，高度配置的、安全的、基于工作流设计理念、具有很强交互性、易用的、为不同系统间或系统内提供数据流管理与处理的系统

单机模式

集群模式

二.功能

Ⅰ).Processor

处理器接口是Apache NiFi公开对FlowFile属性及内容的访问机制，处理器是构成NiFi数据流的基本构建块；可完成功能如下：

1. 创建FlowFiles
2. 获取FlowFile内容
3. 编辑FlowFile属性
4. 更新FlowFile属性
5. 摄取数据
6. 输出数据
7. 路由数据
8. 提取数据
9. 修改数据

Ⅱ).ReportingTask

Reporting Task接口是NiFi公开的一种机制，允许将指标、监控信息和内部NiFi状态发布到外部端点，例如日志文件、电子邮件和远程Web服务

Ⅲ).ControllerService

ControllerService在单个JVM中跨处理器，其为ControllerService和ReportingTask提供共享状态和功能。通过在ControllerService中执行工作，数据可加载一次，并通过此服务公开给所有处理器，而不用在许多不同的处理器加载数据集

Ⅳ).FlowFilePrioritizer

FlowFilePrioritizer接口提供了一种机制，通过该机制可以对队列中的FlowFile进行优先级排序，以便按照对特定用例最有效的顺序处理FlowFiles

Ⅴ).AuthorityProvider

AuthorityProvider负责确定应授予给定用户的特权和角色

三.特性

Ⅰ).可视化

数据流的处理有时非常复杂，NiFi提供了可视化的数据流开发功能，使用户直观、有效的进行业务开发

Ⅱ).可靠交付

遵循NiFi的核心理念：通过利用定制化的持续预写日志和数据仓库技术实现，即使在高压力、高规模的环境中，保证数据的交付。

Ⅲ).数据回压

NiFi提供所有队列数据的缓存，并在队列到指定限制或超时时，可提供数据回压

Ⅳ).高扩展性

NiFi最初设计为可扩展的数据流处理程序，可预测和可重复模式执行。NiFi通过提供自定义类型装载器模型，确保了每个扩展组件间的约束关系被限制在有限的范围

Ⅴ).优先级队列

NiFi允许设置一个或多个优先级方案，用于对数据如何在队列中被检索。默认：先进先出策略；可设置后进先出、最大先出

Ⅵ).数据跟踪

NiFi自动记录、索引对于数据流的每步个操作日志，并将可用的跟踪数据作为对象在系统中传输；这些信息可用于系统故障诊断、优化等其它场景

Ⅶ).历史数据恢复

NiFi的数据存储库被设计成历史滚动缓冲区的角色，数据仅在超时或空间不足时才数据存储库中删除

Ⅷ).流程模板

对数据流高度面向模式，在多种方式解决同一个问题时，可以创建共享的通用处理模板

Ⅸ).安全性

系统间：NiFi可通过双向SSL进行数据加密，并允许在发送与接收端共享密钥，以及其它机制的数据加密与解密
用户与系统间：NiFi允许双向SSL鉴定，并提供可插入的授权模式，来控制用户的登陆权限

四.案例

Ⅰ).案例一：获取MySQL数据到本地文件

1).配置ExecuteSQLRecord

a).选择ExecuteSQLRecord

在Processor中搜索ExecuteSQLRecord

b).配置ExecuteSQLRecord

1.创建Database Connection Pool
2.创建JsonRecordSetWriter
3.配置SQL select query

select Host,User,authentication_string from mysql.user;

c).创建DBCPConnectionPool

在Database Connection Pool中选择DBCPConnectionPool

d).配置DBCPConnectionPool

1.Database Connection URL: jdbc:mysql://hostname:3306/mysql
2.Database Driver Class Name: com.mysql.jdbc.Driver
3.Database User: username
4.Database Password: password

e).激活服务

f).选择JsonRecordSetWriter

在Processor中搜索JsonRecordSetWriter

g).配置JsonRecordSetWriter

h).选择AvroSchemaRegistry

在Processor中搜索AvroSchemaRegistry

i).配置AvroSchemaRegistry

j).激活JsonRecordSetWriter & AvroSchemaRegistry

2).配置PutFile

a).选择PutFile

在Processor中搜索PutFile

b).配置PutFile

1.配置Directory: 文件保存路径
2.可配置Create Missing Directories: 默认true

3).启动服务

可以点击选择单个Processor启动，也可以在空白处点击流程启动

4).验证结果

a).MySQL源数据查询

b).文件内容查询