开发者学堂课程【Flume 基础应用实战-企业全场景解决方案： Apache Flume- 案例-监控采集文件夹变化-执行演示&；注意事项】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/715/detail/12769
Apache Flume- 案例-监控采集文件夹变化-执行演示 &；注意事项
打开参考资料: Spooldir-hdfs.conf
打开服务器 cd 到 conf 路径下，
把采集方案编辑一下：
输入：vim spool-hdfs.cong
把里面的采集方案复制到服务器当中，复制的时候一定要告诉自己哪些可以复制，哪些不用复制，比如注释、启动命令不用复制对，把三个组件的名字、具体详细的描述以及下面复制过来，然后打开服务器做一个粘贴。
然后稍微再做一个验证：
验证完后进行保存，保存完之后cd..返回到根目录做启动，启动目录命令也在这里，还是要指定清楚采集方案和配置。
但是这一个启动命令跟之前不一样，虽然都指定的 conf 文件名字但是里面，不再叫做 --conf。
对比：
区别在于之前叫做 --conf--conf-file，现在叫做 -c-f，上面的命令是完整版，下面是精简版。
复制命令后，回到服务器上执行。来验证一下在当前路径下有没有 Logs，现在pwd 输出一下。
接下来就可以监控这个文件夹，来做一个启动，启动完之报了一个错误。
说监控的目录不存在，出现了一个差错，应该把 log1 改为 logs1，改完重新启动。
但现在并没有任何数据的输出，因为他监控的这个文件夹下面并没有文件产生，它的需求是只要有文件产生，它才会执行数据的采集，把数据上传到 hdfs 这个路径下。打开 hdfs 的页面50070，发现现在也没有这个文件夹，说明它现在就没有工作，接下来怎么来模拟这个需求？
比如说在当下这个路径下，有几个脚本、几个文件，来做一个CP复制。
以文件夹的角度来说，相当于它下面新增加了一个文件，这时候回车，可以发现有信息显示，有输出，在快速的收集到数据 hdfs上，然后打开 hdfs 做一个刷新，发现多了一个 flume events。
这个时间就是动态获取的，而且跟结构相关。
这里面，就是大量采集到的时间，里面每个文件都特别小，与滚动方式有关。
可以调整一下滚动方式。
这就是这一个需求的一个具体实现，重点介绍了 flume 的两个组件，一个是它官方自带的叫做 spooldir source，可以来监控文件夹变化，一个是 hdfs sink。
小插曲：
可以发现刚才添加进去的文件叫做 zookeeper.out，但是被 flume 收集完之后，它叫做 zookeeper.out.completed，说明它用一个标识来表明文件被收集过了，那接下来如果再来一个同名文件，会怎么样？
可以看见这里也产生了输出，好像文件往上上传没有任何问题，发现名字也没有重命名，感觉差不多，从效果上看数据也正常的移走了，但是接下来问题比较严重。
如果上传一个同名的文件之后，再去复制其他的文件。
输入：Cp startZk.sh logs2/
会发现已经没有信息输出了，这就是这个组件最要注意的地方——不能往监控目录中重复丢同名文件，就是说它监视的文件，如果有同名的产生，它会报错、罢工，后面再有文件，它就不会再进行数据收集了。
小插曲的小结：
spooldir source
（1）注意其监控的文件夹下面不能有同名文件的产生；
（2）如果有报错且罢工后续就不再进行数据的监视采集了；
（3）在企业中通常给文件追加时间戳命名的方式保证文件不会重名（也可采用其他方式，保证不重名即可）。
