logstash处理时区问题

简介: logstash处理时区问题

公司线上日志是通过logstash接收并上传的,使用版本是logstash2.3,发现@timestamp经常少8个小时;

处理逻辑如下,无需修改插件源码

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]#message在实际应用中修改为自己的字段

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"

10

}

11

ruby {

12

code =>"event['@timestamp']= event['timestamp']"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}

复制

另外在5.x版本logstash配置有不同

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"

10

}

11

ruby {

12

code =>"event.set('@timestamp',event.get('timestamp'))"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}



测试方法

echo'1504744911000'| ./logstash -f ~/test.conf

目录
相关文章
|
消息中间件 存储 编解码
『Logstash』Logstash配置文件详解
📣读完这篇文章里你能收获到 - Logstash配置文件详解
1499 0
『Logstash』Logstash配置文件详解
|
5月前
Elasticsearch自定义时间格式
Elasticsearch自定义时间格式
|
6月前
|
存储 NoSQL JavaScript
mongodb时间处理,时区处理
mongodb时间处理,时区处理
1599 2
|
Docker 容器
时区问题
时区问题
119 0
|
jenkins 持续交付 Linux
jenkins 时区设置
背景 直接搭建好jenkins没有留意时间这块,执行job的时候发现,执行时间和服务器时间不对,需要设置时区 步骤 找到jenkins的启动配置,centos在: /etc/sysconfig/jenkins 修改如下: JENKINS_JAVA_OPTIONS="-Djava.
1915 0
时区
关于计算时区
314 1
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
322 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
|
Java 关系型数据库
Logstash 安装
https://www.elastic.co/cn/downloads/logstash官网一、下载logstash[root@jiaxin-ceshi ~]# cd /usr/local/src/[root@jiaxin-ceshi src]# wget https://artifacts.
9008 0
|
编解码 消息中间件 Kafka
filebeat-kafka-logstash-elasticsearch日志收集[中文时区问题、自己创建type类index]
logstash配置文件如下: 点击(此处)折叠或打开 input{     kafka{         bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.
2390 0
|
开发工具
clickhouse修改时区
clickhouse时区设置 sudo vim /etc/clickhouse-server/config.xml Asia/Shanghai 保存,重启服务 sudo service clickhouse-server restart 测试: bigdata@server01:~$ clickhouse-clientClickHouse client version 18.
6933 0