logstash处理时区问题

简介: logstash处理时区问题

公司线上日志是通过logstash接收并上传的,使用版本是logstash2.3,发现@timestamp经常少8个小时;

处理逻辑如下,无需修改插件源码

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]#message在实际应用中修改为自己的字段

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"

10

}

11

ruby {

12

code =>"event['@timestamp']= event['timestamp']"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}

复制

另外在5.x版本logstash配置有不同

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"

10

}

11

ruby {

12

code =>"event.set('@timestamp',event.get('timestamp'))"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}



测试方法

echo'1504744911000'| ./logstash -f ~/test.conf

目录
相关文章
|
算法 安全 Java
Java 实现 RSA 非对称加密算法-加解密和签名验签
Java 实现 RSA 非对称加密算法-加解密和签名验签
1518 0
|
12月前
|
缓存 监控 Java
SpringBoot @Scheduled 注解详解
使用`@Scheduled`注解实现方法周期性执行,支持固定间隔、延迟或Cron表达式触发,基于Spring Task,适用于日志清理、数据同步等定时任务场景。需启用`@EnableScheduling`,注意线程阻塞与分布式重复问题,推荐结合`@Async`异步处理,提升任务调度效率。
1657 128
|
Java API
Java时间戳教程
本文详细介绍Java中时间戳的处理方法,包括获取当前时间戳、使用`java.time`包、时间戳与日期的相互转换及格式化等。示例代码展示了如何利用`System.currentTimeMillis()`和`java.time.Instant`获取时间戳,以及如何通过`Date`和`ZonedDateTime`进行日期转换和时区处理。随着Java 8引入的`java.time`包,日期时间操作变得更加强大和便捷,推荐在新项目中优先采用。
1720 8
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
1720 3
|
Linux 网络架构
通过route , tracert , traceroute 查看本地路由配置及访问ip或域名时经过的路由信息
通过route , tracert , traceroute 查看本地路由配置及访问ip或域名时经过的路由信息
8495 2
|
监控 搜索推荐 数据可视化
微服务业务日志收集方案,写得非常好!
背景 日志内容复杂多样,如何去收集有价值的日志是我们重点关注的。日志的价值其实是取决于业务操作的,不同的业务场景下相同类型的日志的价值会截然不同。 根据以往的业务实践,结合企业级的一些业务需求,我们选定关注以下几类日志。
2205 0
|
JSON 数据格式
FileBeat替换@timestamp的四种方法
FileBeat替换@timestamp的四种方法
1689 0
|
存储 消息中间件 Kafka
logstash简明实用教程
Logstash 是开源的服务器端**数据处理管道**,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。 官方介绍:Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景。 Logstash 能够动态地采集、转换和传输数
1277 0
logstash简明实用教程
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
637 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案