FileBeat替换@timestamp的四种方法

简介: FileBeat替换@timestamp的四种方法

1) 使用processors

processors:
  - timestamp:
      # 格式化时间值 给 时间戳 
      field: start_time
      # 使用我国东八区时间  解析log时间
      timezone: Asia/Shanghai
      layouts:
        - '2006-01-02 15:04:05'
        - '2006-01-02 15:04:05.999'
      test:
        - '2019-06-22 16:33:51'

2) 修改fields.xml文件(不推荐,具体看参考文章3)

3) 使用属性覆盖

在input部分配置

json.keys_under_root: true
json.overwrite_keys: true

且输入的json的 @timestamp 的值得格式化方式必须为

yyyy-MM-ddTHH:mm:ss.fffZ #其中fff表示毫秒,因为编程语言的不同要进行相应的更换

4) 使用codec.format

output.kafka:
  hosts: ["139.224.106.236:9092"]
  topic: '%{[fields.kafka_topic]}' #当使用了json.keys_under_root,直接使用指定属性名即可
  version: 0.11.0.0
  compression: gzip
  max_message_bytes: 1000000
  # 只输出message
  codec.format:
    string: '%{[message]}'
目录
相关文章
|
Windows
解决 在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配
不用 “netsh winsock reset” 命令解决 “在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配”
解决 在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配
|
SQL 前端开发 fastjson
使用 fastjson 转换 Date 格式的数据,默认是时间戳,更改为 年-月-日 的方法
使用 fastjson 转换 Date 格式的数据,默认是时间戳,更改为 年-月-日 的方法
863 0
|
XML JSON 缓存
自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能(二)|学习笔记
快速学习自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能
237 0
自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能(二)|学习笔记
|
JSON 负载均衡 搜索推荐
自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能(一)|学习笔记
快速学习自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能
233 0
自定义变量、Nginx 访问日志转换为 json 及 Nginx gzip 压缩功能(一)|学习笔记
|
JSON Shell 测试技术
gookit/config - Go应用配置管理,支持多种格式,多文件加载,支持数据合并,解析环境变量名等等
gookit/config - Go应用配置管理,支持多种格式,多文件加载,支持数据合并,解析环境变量名,绑定数据到结构体等等
141 0
gookit/config - Go应用配置管理,支持多种格式,多文件加载,支持数据合并,解析环境变量名等等
|
JSON 数据格式
fastapi(66)- 修改 uvicorn 的日志格式
fastapi(66)- 修改 uvicorn 的日志格式
1561 0
fastapi(66)- 修改 uvicorn 的日志格式
|
Java 索引 Spring
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
380 0
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
|
存储 数据采集 JSON
如何不写一行代码把 Mysql json 字符串解析为 Elasticsearch 的独立字段
1、事出有因 实战问题:有数百万数据需要导入 Elasticsearch 做性能对比测试,但当前数据存储在 Mysql 中,且核心字段以 Json 字符串形式存储。Mysql 存储如下所示:
588 0
如何不写一行代码把 Mysql json 字符串解析为 Elasticsearch 的独立字段
|
监控 Python
使用Python Log Handler自动上传并解析KV格式的日志
Python Logging Handler可以无需写代码自动高效上传日志, 还可以像Splunk一样对KV格式自动解析字段. 本文介绍如何简单配置.
2449 0