1. 前言
在上一篇博客《微服务轮子项目(14) - 慢查询SQL》,主要讲解了慢查询在MySQL以及在Logstash和Filebeat的操作。
接下来,本文要讲解的是审计日志。
2. 审计日志集成
将来要集成审计日志到我们的项目中,其中审计信息默认输出到logger文件中:logs/audit/audit.log
集成的步骤如下:
step1: 配置信息,该功能默认关闭,添加以下配置到需要记录审计日志的服务上即可开启
ylw: audit-log:
step2:添加依赖
<dependency> <groupId>wheel-commons</groupId> <artifactId>wheel-log-spring-boot-starter</artifactId> </dependency>
step3: 添加注解,在需要审计的方法上添加 @AuditLog
注解,如果在类上添加则该类的所有方法都生效,支持 spEL
表达式
如果配置成功,开启后,会并生成出审计日志,内容如下:
3. 发送审计日志
3.1 安装部署ELK
3.2 定义es索引模板
执行下面的ssh脚本创建 【审计日志】 的索引模板,ip
改为自己的服务器地址:
curl -XPUT http://192.168.28.130:9200/_template/template_audit_log -H 'Content-Type: application/json' -d ' { "index_patterns" : ["audit-log-*"], "order" : 0, "settings" : { "number_of_replicas" : 0 }, "mappings": { "doc": { "properties": { "operation": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }, "analyzer": "ik_max_word" } } } } }'
3.3 Logstash配置
step1:修改10-syslog.conf
配置,在filter里增加以下内容:
if [fields][docType] == "audit-log" { grok { patterns_dir => ["/opt/logstash/patterns"] match => { "message" => "%{TIMESTAMP_ISO8601:logTime}\|%{MYAPPNAME:appName}\|%{MYTHREADNAME:className}\|%{WORD:methodName}\|%{MYAPPNAME:userId}\|%{MYAPPNAME:userName}\|%{MYAPPNAME:clientId}\|%{GREEDYDATA:operation}" } } date { match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"] } date { match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"] target => "timestamp" locale => "en" timezone => "+08:00" } mutate { remove_field => "message" remove_field => "logTime" remove_field => "@version" remove_field => "host" remove_field => "offset" } }
step2: 修改30-output.conf
配置,增加以下内容
if [fields][docType] == "audit-log" { elasticsearch { hosts => ["localhost"] manage_template => false index => "audit-log-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } }
3.4 Filebeat配置
修改配置文件 filebeat.yml
,在 filebeat.inputs
里添加以下内容,抓取日志内容:
- type: log enabled: true paths: - D:\workspaces\projects\logs\audit\*.log fields: docType: audit-log project: microservices-platform
4. 查看数据
配置好elk之后日志数据就能同步到es了并自动创建索引:
通过页面展示数据: