SQOOP介绍
Sqoop是一款用于批量导入结构化数据到Hadoop分布式文件系统（HDFS）的工具，它支持从关系数据库、企业级数据仓库和NoSQL系统等外部存储系统中导入数据。Sqoop采用了一种连接器架构，通过插件方式来支持与各种外部系统的连接。
例如，一个企业可能会在夜间使用Sqoop将当天生产负荷交易的RDBMS数据导入到Hive数据仓库，以便进行进一步分析。
Sqoop连接器
由于不同数据库管理系统在某种程度上方言化了SQL标准，因此，在数据传输过程中可能会遇到一些挑战。Sqoop连接器就是用来解决这些问题的组件，它可以帮助Sqoop与外部存储系统进行数据传输。
Sqoop连接器与各种流行的关系型数据库，如MySQL、PostgreSQL、Oracle、SQL Server和DB2等，都能够很好地配合工作。此外，Sqoop还提供了通用JDBC连接器，用于连接支持Java JDBC协议的任何数据库。
第三方连接器
除了支持多种关系型数据库，Sqoop还提供了许多第三方连接器，用于连接企业数据仓库（如Netezza、Teradata和Oracle）和NoSQL存储（如Couchbase）等数据存储系统。需要注意的是，这些连接器需要单独下载并安装，然后才能与Sqoop一起使用。
FLUME介绍
Flume是一款用于将大量批量流数据传输到HDFS系统的工具。例如，从Web服务器收集当前日志文件数据到HDFS进行数据分析，就是Flume的一个常见用例。
Flume支持多种数据来源，包括本地文件、系统日志和Apache log4j等。Flume代理是一个JVM进程，包含三个主要组件：Flume Source、Flume Channel和Flume Sink。这些组件通过事件传播机制将数据从外部源传输到目标存储系统。
Flume的重要特性
Flume具有以下一些重要特性：
- 基于流媒体数据流的设计使其具有很高的容错性和强大的故障切换和恢复机制。Flume提供了不同程度的可靠性，包括“尽力传输”和“端至端传递”。
- Flume能够承载源和接收器之间的数据，这种数据收集可以是预定的，也可以是事件驱动的。Flume具有自己的查询处理引擎，可以在传输每批新数据之前对其进行预处理。
- Flume支持多种数据存储系统，包括HDFS和HBase。此外，Flume还可用于传输各种类型的业务数据，如网络数据、社交媒体网站数据和电子邮件消息数据等。
