需求
采集目录中已有的文件内容，存储到HDFS
分析
source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs
source使用Spooling Directory Source
配置Agent
从example.conf 复制一个新的配置文件
创建数据目录
文件配置信息如图
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /data/log/studentDir
# Use a channel which buffers events in memory
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /data/soft/apache-flume-1.9.0-bin/data/studentDir/checkpoint
a1.channels.c1.dataDirs = /data/soft/apache-flume-1.9.0-bin/data/studentDir/data
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.168.197.101:9000/flume/studentDir
a1.sinks.k1.hdfs.filePrefix = stu-
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 3600
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
主要配置checkpointDir和dataDir，
因为这两个目录默认会在用户家目录下生成，
建议修改到其他地方
checkpointDir是存放检查点目录
data是存放数据的目录
最后是sink 因为要向hdfs中输出数据，所以可以使用hdfssink
hdfs.path：是必填项，指定hdfs上的存储目录
filePrefix参数：文件前缀，这个属于可选项
writeFormat：建议改为Text，后期Hive和Impala可以操作这份数据
fileType：默认是SequenceFile，还支持DataStream 和 CompressedStream，DataStream 不会对输出 数据进行压缩，CompressedStream 会对输出数据进行压缩，在这里我们先不使用压缩格式的，所以选 择DataStream
hdfs.rollInterval：默认值是30，单位是秒，表示hdfs多长时间切分一个文件，因为这个采集程序是一 直运行的，只要有新数据，就会被采集到hdfs上面，hdfs默认30秒钟切分出来一个文件，如果设置 为0表示不按时间切文件
hdfs.rollSize：默认是1024，单位是字节，最终hdfs上切出来的文件大小都是1024字节，如果设置为0 表示不按大小切文件
hdfs.rollCount：默认设置为10，表示每隔10条数据切出来一个文件，如果设置为0表示不按数据条数 切文件 这三个参数，如果都设置的有值，哪个条件先满足就按照哪个条件都会执行。 在实际工作中一般会根据时间或者文件大小来切分文件，我们之前在工作中是设置的时间和文件大小 相结合，时间设置的是一小时，文件大小设置的128M，这两个哪个满足执行哪个 所以针对hdfssink的配置最终是这样的。
在启动前，我们初始化一份测试数据
接来下启动Agent
flume-ng agent --name a1 --conf /data/soft/apache-flume-1.9.0-bin/conf/ --conf-file ../conf/file-to-hdfs.conf -Dflume.root.logger=INFO,console
Flume Agent启动成功，成功将数据文件写入HDFS
此时发现文件已经生成了，只不过默认情况下现在的文件是 .tmp 结尾的，表示它在被使用，
因为Flume 只要采集到数据就会向里面写，这个后缀默认是由 hdfs.inUseSuffix 参数来控制的。
文件名上还拼接了一个当前时间戳，这个是默认文件名的格式，当达到文件切割时机的时候会给文件改名 字，去掉.tmp 这个文件现在也是可以查看的，里面的内容其实就是class1.dat文件中的内容。
查看文件内容：表明我们此次采集结果是成功的
那Flume怎么知道哪些文件是新文件呢？它会不会重复读取同一个文件的数据呢？
我们进入目录：/data/log/studentDir
我们发现此时这个文件已经被加了一个后缀 .COMPLETED ，表示这个文件已经被读取过了，所以Flume在 读取的时候会忽略后缀为 .COMPLETED 的文件
接着我们再看一下channel中的数据，因为数据是存在本地磁盘文件中的，所以是可以去看一下的，进入 dataDir指定的目录
发现里面有一个 log-1 的文件，这个文件中存储的其实就是读取到的内容,不过在这无法直接查看
现在我们想看一下Flume最终生成的文件是什么样子的，难道要根据配置等待1个小时或者弄一个128M 的文件过来吗， 其实也没必要，我们可以暴力操作一下 停止Agent就可以看到了，当Agent停止的时候就会去掉 .tmp 标志了
那我再重启Agent之后，会不会再给加上.tmp呢，不会了，每次停止之前都会把所有的文件解除占用状 态，下次启动的时候如果有新数据，则会产生新的文件，这其实就模拟了一下自动切文件之后的效果。
