开发者学堂课程【数据采集系统 Flume 快速入门:实时读取目录文件到 HDFS 案例分析】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/99/detail/1633
实时读取目录文件到 HDFS 案例分析
(1)实例需求:
使用 Flume 监听整个目录的文件
(2)需求分析:
使用情况:
log 和目录里面的文件没有上传到 HDFS 。
(3)案例步骤
1.创建符合条件的 flume 配置文件
2.执行配置文件
3.向 upload 目录中添加文件
4.查看 HDFS上 的数据
5.查看 /opt/ module/ flume/ upload 目录中上传的文件是否已经标记为COMLPETED 结尾;. tmp 后缀结尾文件没有上传。