日志服务数据加工最佳实践: 使用搜索映射做高级数据富化

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同. 本篇介绍日志服务数据加工最佳实践: 使用搜索映射做高级数据富化.

普通映射 vs 搜索映射

典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同.

普通映射方式

一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示:

状态码 文本
200 成功
300 跳转
400 请求错误
500 服务器错误

下面规则调用e_dict_map将字段status中的http请求状态码转化为文本描述, 放入字段status_desc.

e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc")

实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考Http请求状态码

搜索映射方式

当需要一些灵活的针对特定值做匹配逻辑时的映射, 例如:

状态码 文本
1XX-2XX 成功
3XX 跳转
4XX 请求错误
5XX 服务器错误

就需要使用搜索映射来实现, 这里的字典的关键字实际是一个搜索查询字符串.

状态码 文本
status<=299 成功
status: [300, 399] 跳转
status: [400, 499] 请求错误
status: [500, 599] 服务器错误

使用如下代码:

e_search_dict_map({"status: [400, 499]": "请求错误", "status: [500, 599]": "服务器错误", "status: [300, 399]": "跳转", "status<=200": "成功"}, "status", "status_desc")

场景样例1:使用搜索映射字典做复杂富化

这里以网络请求日志来距离做一个更复杂逻辑的映射:

需求

原始日志

"日志1"
http_host:  m1.abcd.com
http_status:  200
request_method:  GET
body_bytes_sent: 740

"日志2"
http_host:  m2.abcd.com
http_status:  200
request_method:  POST
body_bytes_sent: 1123

"日志3"
http_host:  m3.abcd.com
http_status:  404
request_method:  GET
body_bytes_sent: 711

"日志4"
http_host:  m4.abcd.com
http_status:  504
request_method:  GET
body_bytes_sent: 1822

加工需求

根据日志事件的http_statusbody_bytes_sent的值的不同,为每个事件添加不同的type信息。

  • http_status2XX并且body_bytes_sent长度小于1000的日志事件设置type正常
  • http_status2XX并且body_bytes_sent长度大于等于1000的日志事件设置type过长警告
  • http_status3XX的日志事件设置type重定向
  • http_status4XX的日志事件设置type错误
  • 其他的日志事件设置type其他

LOG DSL编排

e_search_dict_map({'http_status~="2\d+" and body_bytes_sent < 1000': "正常", 'http_status~="2\d+" and body_bytes_sent >= 1000': "过长警告", 'http_status~="3\d+"': "重定向", 'http_status~="4\d+"': "错误",  "*": "其他"}, "http_status", "type")

加工后的日志

"日志1"
type: 正常
http_host:  m1.abcd.com
http_status:  200
request_method:  GET
body_bytes_sent: 740

"日志2"
type: 过长警告
http_host:  m2.abcd.com
http_status:  200
request_method:  POST
body_bytes_sent: 1123

"日志3"
type: 错误
http_host:  m3.abcd.com
http_status:  404
request_method:  GET
body_bytes_sent: 711

"日志4"
type: 其他
http_host:  m4.abcd.com
http_status:  504
request_method:  GET
body_bytes_sent: 1822

说明

  • 上面使用了函数e_search_dict_map,具体语法参照e_search_dict_map函数. 其中映射的关键字字段是搜索查询字符串,可支持正则,完全匹配,模糊匹配等形式。
  • 和基于表格来进行数据富化一样,基于字典的富化,除了可以使用通过{}直接构建的字典之外,也可以基于任务配置资源、外部OSS资源、表格资源等来构建字典,具体可参考字典构建

场景样例2:使用搜索表格做数据富化

原始日志

"日志1"
http_host:  m1.abcd.com
http_status:  200
request_method:  GET
body_bytes_sent: 740

"日志2"
http_host:  m2.abcd.com
http_status:  200
request_method:  POST
body_bytes_sent: 1123

"日志3"
http_host:  m3.abcd.com
http_status:  404
request_method:  GET
body_bytes_sent: 711

"日志4"
http_host:  m4.abcd.com
http_status:  504
request_method:  GET
body_bytes_sent: 1822

需求

针对数据中的http_status, body_bytes_sent等字段, 映射出其他多个字段例如type, warning_levelwarning_email等. 具体的规则样例存储于RDS-MySQL中, 例如:

MYSQL 数据库表中数据

content type warning_level warning_email
http_status~="2d+" and body_bytes_sent < 1000 正常 INFO normal@etl.com
http_status~="2d+" and body_bytes_sent >= 1000 过长警告 WARNING over-long@etl.com
http_status~="3d+" 重定向 WARNING redirect@etl.com
http_status~="4d+" 错误 ERROR error@etl.com

LOG DSL编排

e_search_table_map(res_rds_mysql("...连接MySQL参数..."),"content",["type", "warning_level", "warning_email"])

使用了e_search_table_map 语法,详细请参照e_search_table_map搜索表格语法,此处简单讲解,res_rds_mysql()里面填入的是去 RDS MYSQl 拉取数据的配置,该函数会拉取指定的mysql表格,具体语法请见res_rds_mysql函数用法,"content"字段指定的是mysql表中的字段,会使用该字段的值的内容去匹配原始日志中的内容,具体匹配规则请见e_search用法,可支持正则,完全匹配,模糊匹配等形式。

加工后日志

根据日志事件的http_statusbody_bytes_sent的值的不同,为每个事件添加不同的type, warning_level以及warning_email信息。

"日志1"
type: 正常
warning_level: INFO
warning_email: normal@etl.com
http_host:  m1.abcd.com
http_status:  200
request_method:  GET
body_bytes_sent: 740

"日志2"
type: 过长警告
warning_level: WARNING
warning_email: over-long@etl.com
http_host:  m2.abcd.com
http_status:  200
request_method:  POST
body_bytes_sent: 1123

"日志3"
type: 错误
warning_level: ERROR
warning_email: error@etl.com
http_host:  m3.abcd.com
http_status:  404
request_method:  GET
body_bytes_sent: 711

"日志4"
type: 其他
warning_level: INFO
warning_email: others@etl.com
http_host:  m4.abcd.com
http_status:  504
request_method:  GET
body_bytes_sent: 1822
  • 以上加工规则默认匹配到表中一行之后,立即返回。可以为e_search_table_map设置参数 multi_match=True和multi_join=",",分别表示开启多行匹配和匹配到多个值时候,多值使用逗号进行组合。
e_search_table_map(res_rds_mysql("...连接MySQL参数..."),"content",["type", "warning_level", "warning_email"], multi_match=True,multi_join=",")
  • 以上加工规则默认使用表格中的列名作为添加的字段名称,也可以修改为新的字段名称。例如warning_email字段重命名为email字段,把新字段和原字段写在一个原组里面即可,如下示例
e_search_table_map(res_rds_mysql("...连接MySQL参数..."),"content",["type", "warning_level", ("warning_email", "email")],multi_match=True,multi_join=",")

说明

  • 上面使用了函数e_search_table_map,具体语法参照e_search_table_map函数. 其中映射的关键字字段是搜索查询字符串,可支持正则,完全匹配,模糊匹配等形式。
  • 基于表格的富化,构建表格方式除了RDS-MySQl外, 还有其他方法, 例如动态构建, 本地资源, OSS等, 具体可参考表格构建

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
存储 监控 数据可视化
百度搜索:蓝易云【使用logstash+elasticsearch+kibana快速搭建日志平台】
完成以上步骤后,你就可以快速搭建一个简单的日志平台,用于收集、存储和可视化日志数据。通过Kibana的强大功能,你可以灵活地进行日志数据分析和监控,帮助你更好地理解和管理应用程序的运行情况。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
17 0
|
5天前
|
存储 监控 NoSQL
百度搜索:蓝易云【ELK logstash处理mongodb日志】
通过以上步骤,你可以使用Logstash收集MongoDB的日志数据,并将其存储到Elasticsearch中,然后使用Kibana来对日志数据进行可视化和分析,实现全面的日志管理和监控。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
30 5
|
2月前
|
运维 监控 关系型数据库
百度搜索:蓝易云【MYSQL四种管理日志详细介绍】
这四种管理日志对于MySQL服务器的性能监控、故障排查以及主从复制等方面都非常重要。在使用这些日志时,应根据具体需求来选择开启和配置,并定期清理和维护日志文件,以免占用过多磁盘空间。
52 0
|
3月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
105 40
|
26天前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
4天前
|
Python
百度搜索:蓝易云【python配置info,error级别的日志】
在实际应用中,我们可以根据需要,将日志输出到不同的文件或者使用不同的日志处理器,来实现灵活的日志记录和管理。通过配置不同的日志级别,我们可以根据实际需求记录所需的日志信息,方便调试和排查问题。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
23 0
|
8天前
|
JSON 监控 Java
Java Web开发中的异常处理与日志记录最佳实践
Java Web开发中的异常处理与日志记录最佳实践
|
8天前
|
开发工具 git
百度搜索:蓝易云【git修改commit日志】
注意:在修改commit日志时,可能会产生冲突,需要解决冲突后再继续rebase操作。此外,修改commit日志会改变commit的哈希值,因此不推荐在已经推送到远程仓库的commit上进行修改。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
155 6
百度搜索:蓝易云【git修改commit日志】
|
26天前
|
JSON Prometheus Cloud Native
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
|
2月前
|
Ubuntu Docker 容器
百度搜索:蓝易云【ubuntu docker日志docker ubuntu desktop】
这样,你就可以查看Docker容器的日志信息。记得将 `CONTAINER_ID`替换为你要查看的实际容器ID。
28 0

相关产品

  • 日志服务