使用es+kibana+fluent bit搜集集群日志,但不清楚多行数据改如何搜集,docker搜集的container日志都是一行是一条日志,但如果是异常栈的日志改如何处理?求大神指点
配置如下:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
Parsers_File parsers.conf
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
[INPUT]
Name tail
Tag kube.
Refresh_Interval 5
Mem_Buf_Limit 5MB
Skip_Long_Lines Off
Multiline On
Multiline_Flush 3
Parser_Firstline line-start-tag
Parser_1 log-parser-pattern1
Path /Volumes/disk/soft/sample.log
[FILTER]
Name kubernetes
Match kube.
tls.verify Off
K8S-Logging.Parser On
K8S-Logging.Exclude On
[OUTPUT]
Name stdout
Match *
Host x-efk-f4bb0-elasticsearch
Port 9200
Logstash_Format On
Retry_Limit False
Regex_Parser Log_Parser_Pattern
Type flb_type
Logstash_Prefix cluster_logroot@x-efk-f4bb0-fluent-bit-666rs:/# cat fluent-bit/etc/parsers.conf
[PARSER]
Name kube-custom
Format regex
[PARSER]
Name filter-kube-test
Format regex
Name line-start-tag
Format regex
Regex ^~[(?[^~]*)][(?[^~])]~~[(?[^~])][(?[^~]*)][(?[^~])]~~[(?[^~])][(?[^~]*)]~
Time_Keep On
[PARSER]
Name log-parser-pattern1
Format regex
Regex ^~~~[(.*)$
Time_Keep On
https://github.com/fluent/fluent-bit/issues/746 目前看来 fluent bit 还不支持多行日志收集。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。