AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中

2017-06-13 7585
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： 1.采集日志文件时一个很常见的现象采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。1.1.根据需求，首先定义一下3大要素：采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink—HDFS文件系统：hdfs sink Source和sink之

1.采集日志文件时一个很常见的现象

采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。

1.1.根据需求，首先定义一下3大要素：

采集源，即source—监控日志文件内容更新：exec ‘tail -F file’
下沉目标，即sink—HDFS文件系统：hdfs sink
Source和sink之间的传递通道—-channel,可用file channel也可以用 内存channel。

1.2.进入/home/tuzq/software/apache-flume-1.6.0-bin/agentconf，编写配置文件tail-hdfs.conf，文件内容如下：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
## exec表示flume回去调用给的命令，然后从给的命令的结果中去拿数据
a1.sources.r1.type = exec
## 使用tail这个命令来读数据
a1.sources.r1.command = tail -F /home/tuzq/software/flumedata/test.log
a1.sources.r1.channels = c1

# Describe the sink
## 表示下沉到hdfs，类型决定了下面的参数
a1.sinks.k1.type = hdfs
## sinks.k1只能连接一个channel，source可以配置多个
a1.sinks.k1.channel = c1
## 下面的配置告诉用hdfs去写文件的时候写到什么位置，下面的表示不是写死的，而是可以动态的变化的。表示输出的目录名称是可变的
a1.sinks.k1.hdfs.path = /flume/tailout/%y-%m-%d/%H%M/
##表示最后的文件的前缀
a1.sinks.k1.hdfs.filePrefix = events-
## 表示到了需要触发的时间时，是否要更新文件夹，true:表示要
a1.sinks.k1.hdfs.round = true
## 表示每隔1分钟改变一次
a1.sinks.k1.hdfs.roundValue = 1
## 切换文件的时候的时间单位是分钟
a1.sinks.k1.hdfs.roundUnit = minute
## 表示只要过了3秒钟，就切换生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 3
## 如果记录的文件大于20字节时切换一次
a1.sinks.k1.hdfs.rollSize = 20
## 当写了5个事件时触发
a1.sinks.k1.hdfs.rollCount = 5
## 收到了多少条消息往dfs中追加内容
a1.sinks.k1.hdfs.batchSize = 10
## 使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream：为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
##使用内存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

1.3.编写完成之后，启动flume,执行的命令是：

[root@hadoop1 flumedata]#cd /home/tuzq/software/apache-flume-1.6.0-bin/agentconf
[root@hadoop1 flumedata]#bin/flume-ng agent -c conf -f agentconf/tail-hdfs.conf -n a1

1.4.通过写一个死循环往test.log中写数据的方式模式日志文件增长

编写shell脚本，模拟日志增长变化。

[root@hadoop1 flumedata]# cd /home/tuzq/software/flumedata
[root@hadoop1 flumedata]# while true
>do
> date >> test.log
> sleep 2
> done

查看日志变化

[root@hadoop1 ~]# cd /home/tuzq/software/flumedata/
[root@hadoop1 flumedata]# ls
access.log  error.log  test.log
[root@hadoop1 flumedata]# tail -f test.log 
2017年 06月 13日 星期二 22:02:22 CST
2017年 06月 13日 星期二 22:02:24 CST
2017年 06月 13日 星期二 22:02:26 CST
2017年 06月 13日 星期二 22:02:28 CST
2017年 06月 13日 星期二 22:02:30 CST
2017年 06月 13日 星期二 22:02:32 CST

通过上面的文件，可以看到test.log在不停的追加数据。

到hdfs中进行查看，效果如下：

[root@hadoop1 ~]# hdfs dfs -ls /
Found 5 items
drwxr-xr-x   - root supergroup          0 2017-06-13 12:01 /40000
drwxr-xr-x   - root supergroup          0 2017-06-13 22:01 /flume
-rw-r--r--   3 root supergroup       3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx   - root supergroup          0 2017-06-10 22:06 /tmp
drwxr-xr-x   - root supergroup          0 2017-06-10 22:27 /user
[root@hadoop1 ~]# hdfs dfs -ls /flume
Found 1 items
drwxr-xr-x   - root supergroup          0 2017-06-13 22:01 /flume/tailout
[root@hadoop1 ~]# hdfs dfs -ls /flume/tailout
Found 1 items
drwxr-xr-x   - root supergroup          0 2017-06-13 22:03 /flume/tailout/17-06-13
[root@hadoop1 ~]# hdfs dfs -ls /flume/tailout/17-06-13
Found 4 items
drwxr-xr-x   - root supergroup          0 2017-06-13 22:01 /flume/tailout/17-06-13/2201
drwxr-xr-x   - root supergroup          0 2017-06-13 22:03 /flume/tailout/17-06-13/2202
drwxr-xr-x   - root supergroup          0 2017-06-13 22:04 /flume/tailout/17-06-13/2203
drwxr-xr-x   - root supergroup          0 2017-06-13 22:04 /flume/tailout/17-06-13/2204
[root@hadoop1 ~]# hdfs dfs -ls /flume/tailout/17-06-13
Found 5 items
drwxr-xr-x   - root supergroup          0 2017-06-13 22:01 /flume/tailout/17-06-13/2201
drwxr-xr-x   - root supergroup          0 2017-06-13 22:03 /flume/tailout/17-06-13/2202
drwxr-xr-x   - root supergroup          0 2017-06-13 22:04 /flume/tailout/17-06-13/2203
drwxr-xr-x   - root supergroup          0 2017-06-13 22:05 /flume/tailout/17-06-13/2204
drwxr-xr-x   - root supergroup          0 2017-06-13 22:05 /flume/tailout/17-06-13/2205
[root@hadoop1 /]# hdfs dfs -ls /flume/tailout/17-06-13
Found 6 items
drwxr-xr-x   - root supergroup          0 2017-06-13 22:01 /flume/tailout/17-06-13/2201
drwxr-xr-x   - root supergroup          0 2017-06-13 22:03 /flume/tailout/17-06-13/2202
drwxr-xr-x   - root supergroup          0 2017-06-13 22:04 /flume/tailout/17-06-13/2203
drwxr-xr-x   - root supergroup          0 2017-06-13 22:05 /flume/tailout/17-06-13/2204
drwxr-xr-x   - root supergroup          0 2017-06-13 22:06 /flume/tailout/17-06-13/2205
drwxr-xr-x   - root supergroup          0 2017-06-13 22:06 /flume/tailout/17-06-13/2206
[root@hadoop1 /]

通过上面的案例可以知道，增加的日志文件已经被写入到HDFS中。

可供参考的文件：http://blog.csdn.net/tototuzuoquan/article/details/73194903

文章标签：
日志服务
监控
关键词：
日志服务flume
日志服务日志文件
日志服务文件
监听日志服务
Flume hdfs
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
涂作权
目录
相关文章
赵渝强老师
|
1月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统，支持从多种数据源收集日志信息，并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成，通过Event封装数据，保障高效与可靠传输。
赵渝强老师
198 1
蓝染-惣右介
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法，重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层，允许开发者使用统一的日志接口，而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback，推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback，以及如何使用Lombok简化日志记录。最后，提供了一些日志配置的最佳实践，包括滚动日志、统一日志格式和提高日志性能的方法。
蓝染-惣右介
3623 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
阿里云云原生
|
6月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS)，解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent（iLogtail/LoongCollector）在海外场景的应用，推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案，包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等，并提供了成本优化策略和多目标发送配置指导，帮助企业构建稳定、低成本、高可用的全球日志系统。
阿里云云原生
802 54
运维有小邓
|
11月前
|
监控 安全 Apache
什么是Apache日志？为什么Apache日志分析很重要？
Apache是全球广泛使用的Web服务器软件，支持超过30%的活跃网站。它通过接收和处理HTTP请求，与后端服务器通信，返回响应并记录日志，确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志，对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志，增强Web服务的安全性和可靠性。
运维有小邓
341 9
qhhf_地道酬勤
|
9月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程；binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景；查询日志、慢查询日志、错误日志等其他几类日志
qhhf_地道酬勤
780 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
蓝易云
|
8月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件，可以快速定位和解决问题，确保Tomcat服务器的稳定运行。掌握这些日志解析技巧，可以显著提高运维和开发效率。
蓝易云
835 13
SlackClimb
|
9月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log（重做日志）是数据库中用于记录数据页修改的物理日志，确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式，在内存中缓存修改操作，并在适当时候刷入磁盘，减少随机写入带来的性能损耗。WAL（Write-Ahead Logging）技术的核心思想是先将修改操作记录到日志文件中，再择机写入磁盘，从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数（如 `innodb_flush_log_at_trx_commit`），以平衡性能与数据安全性。
SlackClimb
443 5
图解MySQL【日志】——Redo Log
1239859226203423
|
8月前
|
缓存 Java 编译器
Mac如何查看 IDEA 的日志文件Mac如何查看 IDEA 的日志文件
Mac如何查看 IDEA 的日志文件
1239859226203423
299 16
绿水长流*z
|
10月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证，原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误，需要把前面已经执行过的SQL撤销以达到原子性的目的，这个过程也叫做"回滚"，所以Undo Log也叫回滚日志。
绿水长流*z
534 7
MySQL事务日志-Undo Log工作原理分析

热门文章

最新文章

  • 1
    16 倍性能提升，成本降低 98%！ 解读 SLS 向量索引架构升级改造
  • 2
    防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
  • 3
    【赵渝强老师】大数据日志采集引擎Flume
  • 4
    SLS Copilot 实践：基于 SLS 灵活构建 LLM 应用的数据基础设施
  • 5
    别再满世界找日志了：聊聊如何用AI帮运维团队快速排查故障
  • 6
    程序出错瞎找？教你写“会说话”的错误日志，秒定位原因
  • 7
    5 个 IIS 日志记录最佳实践
  • 8
    Kubernetes日志管理：使用Loki进行日志采集
  • 9
    Python日志模块配置：从print到logging的优雅升级指南
  • 10
    SQL日志优化策略：提升数据库日志记录效率
  • 1
    Flume+Hadoop：打造你的大数据处理流水线
    558
  • 2
    Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
    207
  • 3
    Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
    258
  • 4
    Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
    164
  • 5
    Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
    239
  • 6
    Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
    166
  • 7
    Flume核心组件大揭秘：Agent、Source、Channel、Sink，一文掌握数据采集精髓！
    1260
  • 8
    【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手，从日志收集到实时处理一网打尽！
    309
  • 9
    Flume Agent 的内部原理分析：深入探讨 Flume 的架构与实现机制
    485
  • 10
    【Flume大揭秘】揭秘Flume断点续传的黑科技，让你的数据传输从此告别中断，稳如老狗！
    357

    • 相关课程

    更多
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Flume基础应用实战 - 企业全场景解决方案
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • Hadoop 分布式文件系统 HDFS
  • 数据采集系统 Flume 快速入门

    • 相关电子书

    更多
  • 大规模日志数据平台架构面临的问题与挑战
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
    • 下一篇
    阿里云负载均衡收费标准：ALB、NLB和CLB价格，包括LCU费用、实例费和公网带宽价格