FileBeat替换@timestamp的四种方法

简介: FileBeat替换@timestamp的四种方法

1) 使用processors

processors:
  - timestamp:
      # 格式化时间值 给 时间戳 
      field: start_time
      # 使用我国东八区时间  解析log时间
      timezone: Asia/Shanghai
      layouts:
        - '2006-01-02 15:04:05'
        - '2006-01-02 15:04:05.999'
      test:
        - '2019-06-22 16:33:51'
AI 代码解读

2) 修改fields.xml文件(不推荐,具体看参考文章3)

3) 使用属性覆盖

在input部分配置

json.keys_under_root: true
json.overwrite_keys: true
AI 代码解读

且输入的json的 @timestamp 的值得格式化方式必须为

yyyy-MM-ddTHH:mm:ss.fffZ #其中fff表示毫秒,因为编程语言的不同要进行相应的更换

4) 使用codec.format

output.kafka:
  hosts: ["139.224.106.236:9092"]
  topic: '%{[fields.kafka_topic]}' #当使用了json.keys_under_root,直接使用指定属性名即可
  version: 0.11.0.0
  compression: gzip
  max_message_bytes: 1000000
  # 只输出message
  codec.format:
    string: '%{[message]}'
AI 代码解读
相关文章
解决 在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配
不用 “netsh winsock reset” 命令解决 “在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配”
解决 在配置文件列表中找不到你的默认配置文件-使用第一个配置文件。请进行检查以确保 "defaultProfile" 与你的某个配置文件的 GUID 相匹配
salt自定义模块内使用日志例子
salt自定义模块内使用日志例子
influxdb 中得 fields 与 tag 区别总结
influxdb 中得 fields 与 tag 区别总结
682 1
Nginx 配置,自定义日志格式 log_format
Nginx 配置,自定义日志格式 log_format
223 0
DataWorks有什么办法将long在search中变成date类型或者是参数里面能配置时间戳吗?
DataWorks有什么办法将long在search中变成date类型或者是参数里面能配置时间戳吗?
121 0
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
270 0
使用 fastjson 转换 Date 格式的数据,默认是时间戳,更改为 年-月-日 的方法
使用 fastjson 转换 Date 格式的数据,默认是时间戳,更改为 年-月-日 的方法
1556 0
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
468 0
五分钟带你玩转Elasticsearch(十六)logstash将@timestamp映射为其他字段
filebeat-kafka-logstash-elasticsearch日志收集[中文时区问题、自己创建type类index]
logstash配置文件如下: 点击(此处)折叠或打开 input{     kafka{         bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.
2421 0