AI 助理
备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工最佳实践: 事件判断

2019-08-02 1203
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
对象存储 OSS，内容安全 1000次 1年
云备份 Cloud Backup，100GB 3个月
简介： 本篇介绍日志服务数据加工: 事件判断最佳实践汇总

场景1：判断字段是否存在

原始日志

a: a_vlue
b:    // 空串

LOG DSL编排

方案一：使用e_has, e_not_has

e_if(e_has("a"), e_set("has_a", true))
e_if(e_has("b"), e_set("has_b", true))
e_if(e_has("c"), e_set("has_c", true))
e_if(e_not_has("a"), e_set("not_has_a", true))
e_if(e_not_has("b"), e_set("not_has_b", true))
e_if(e_not_has("c"), e_set("not_has_c", true))

方案二：使用e_search

e_if(e_search("a: *"), e_set("has_a", true))
e_if(e_search("b: *"), e_set("has_b", true))
e_if(e_search("c: *"), e_set("has_c", true))
e_if(e_search("not a: *"), e_set("not_has_a", true))
e_if(e_search("not b: *"), e_set("not_has_b", true))
e_if(e_search("not c: *"), e_set("not_has_c", true))

加工后日志

a: a_vlue
b:    // 空串
has_a: true
has_b: true
has_c: false
not_has_a: false
not_has_b: false
not_has_c: true
  • 以上两种方案都可用于判断字段是否存在，但是方案一更直观、易理解。
  • 以上加工规则中的两个e_if可通过e_if(条件1，操作1，条件2，操作2）的形式合并为一个e_if，此处为了易于读者阅读，拆成两个。

场景2：判断字段值存在且不为空

原始日志

a: a_vlue
b:     // 空串

LOG DSL编排

方案一：使用字段取值函数v

e_if(v("a"), e_set("not_empty_a", true))
e_if(v("b"), e_set("not_empty_b", true))
e_if(v("c"), e_set("not_empty_c", true))
  • 字段取值函数v，当对应字段存在且值不为空时，其自动转换的Bool值为true，否则为false

方案二：使用e_search

# 至少一个字符
e_if(e_search('a: "?"'), e_set("not_empty_a", true))
e_if(e_search('b: "?"'), e_set("not_empty_b", true))
e_if(e_search('c: "?"'), e_set("not_empty_c", true))

# 正则
e_if(e_search('a~=".+"'), e_set("not_empty_a", true))
e_if(e_search('b~=".+"'), e_set("not_empty_b", true))
e_if(e_search('c~=".+"'), e_set("not_empty_c", true))

# 存在且不为空
e_if(e_search('a: * and not a==""'), e_set("not_empty_a", true))
e_if(e_search('b: * and not b==""'), e_set("not_empty_b", true))
e_if(e_search('c: * and not c==""'), e_set("not_empty_b", true))

加工后日志

a: a_vlue
b:     // 空串
not_empty_a: true
not_empty_b: false
not_empty_c: false
  • 以上三方案都可用于判断字段是否存在，但是方案一更简洁。
  • 以上加工规则中的两个e_if可通过e_if(条件1，操作1，条件2，操作2）的形式合并为一个e_if，此处为了易于读者阅读，拆成两个。

场景3：判断字段值存在但为空

原始日志

a: a_vlue
b:   // 空串

LOG DSL编排

方案一：使用字段取值函数v

e_if(op_and(e_has("a"), op_not(v("a"))), e_set("empty_a", true))
e_if(op_and(e_has("b"), op_not(v("b"))), e_set("empty_b", true))
e_if(op_and(e_has("c"), op_not(v("c"))), e_set("empty_c", true))

# 错误的方案
e_if(op_not(v("a")), e_set("empty_a", true))
e_if(op_not(v("b")), e_set("empty_b", true))
e_if(op_not(v("c")), e_set("empty_c", true))
  • 字段取值函数v，当对应字段存在且值不为空时，其自动转换的Bool值为true，否则为false. 但是只不存在是, 其返回None, op_not(None)时也是返回True.

方案二：使用e_search

e_if(e_search('a==""'), e_set("empty_a", true))
e_if(e_search('b==""'), e_set("empty_b", true))
e_if(e_search('c==""'), e_set("empty_c", true))

# 以下是错误调用
e_if(e_search('a:""'), e_set("empty_a", true))
e_if(e_search('b:""'), e_set("empty_b", true))

注意, 以上错误调用中, 因为:在e_search是部分查询, 字段存在时, 无论是否空串的情况下, 空串a: ""永远会真.

加工后日志

a: a_vlue
b:    // 空串
empty_a: false
empty_b: true
empty_b: false
  • 以上方案中显然方案二更简洁.
  • 以上加工规则中的两个e_if可通过e_if(条件1，操作1，条件2，操作2）的形式合并为一个e_if，此处为了易于读者阅读，拆成两个。

场景4：基于字段值的逻辑查询判断

原始日志

"日志1"
http_host:  m1.abcd.com
status:  200
request_method:  GET
scheme:  https
header_length: 700
body_length: 1200

"日志2"
http_host:  m2.abcd.com
status:  200
request_method:  POST
scheme:  https
header_length: 100
body_length: 800

"日志3"
http_host:  m3.abcd.com
status:  200
request_method:  GET
scheme:  http
header_length: 700
body_length: 800

"日志4"
http_host:  m4.abcd.com
status:  404
request_method:  GET
scheme:  https
header_length: 100
body_length: 300

加工需求1

  • 为所有status字段值为200的日志事件, 添加一个字段type，其值为normal。

LOG DSL编排

e_if(e_match("status", "200"), e_set("type", "normal))
或者
e_if(e_search("status==200"), e_set("type", "normal"))
  • 在此相对简单的场景下，以上两种方式都可以，并无太大差别。
  • 一般情况下status: 200也可以, 只是==更精准一些.

加工后的日志

"日志1"
type: normal
http_host:  m1.abcd.com
status:  200
request_method:  GET
scheme:  https
header_length: 700
body_length: 1200

"日志2"
type: normal
http_host:  m2.abcd.com
status:  200
request_method:  POST
scheme:  https
header_length: 100
body_length: 800

"日志3"
type: normal
http_host:  m3.abcd.com
status:  200
request_method:  GET
scheme:  http
header_length: 700
body_length: 800

"日志4"
http_host:  m4.abcd.com
status:  404
request_method:  GET
scheme:  https
header_length: 100
body_length: 300

加工需求2

  • 为所有status字段值为200 并且 request_method字段值为GET 并且 scheme字段值为https 的日志事件, 添加一个字段type，其值为normal。

LOG DSL编排

e_if(e_search("status==200 and request_method==GET and scheme==https"), e_set("type", "normal"))
或者
e_if(e_match_all("status", "200", "request_method"，"GET", "scheme", "https"), e_set("type", "normal"))
  • 在此场景下，需要同时满足多个字段的匹配条件，可以使用e_search或e_match_all。
  • e_search用法相对更简洁一些。
  • 一般情况下e_search的==也可以换成:如status: 200也可以, 只是==更精准一些.

加工后的日志

"日志1"
type: normal
http_host:  m1.abcd.com
status:  200
request_method:  GET
scheme:  https
header_length: 700
body_length: 1200

"日志2"
http_host:  m2.abcd.com
status:  200
request_method:  POST
scheme:  https
header_length: 100
body_length: 800

"日志3"
http_host:  m3.abcd.com
status:  200
request_method:  GET
scheme:  http
header_length: 700
body_length: 800

"日志4"
http_host:  m4.abcd.com
status:  404
request_method:  GET
scheme:  https
header_length: 100
body_length: 300

加工需求3

  • 为所有status字段值为200 或者 request_method字段值为GET 或者 scheme字段值为https 的日志事件, 添加一个字段type，其值为normal。

LOG DSL编排

e_if(e_search("status==200 or request_method==GET or scheme==https"), e_set("type", "normal"))
或者
e_if(e_match_any("status", "200", "request_method"，"GET", "scheme", "https"), e_set("type", "normal"))
  • 在此场景下，需要满足多个字段的匹配条件中的其中一个，可以使用e_search或e_match_any。
  • e_search用法相对更简洁一些。

加工后的日志

"日志1"
type: normal
http_host:  m1.abcd.com
status:  200
request_method:  GET
scheme:  https
header_length: 700
body_length: 100

"日志2"
type: normal
http_host:  m2.abcd.com
status:  200
request_method:  POST
scheme:  https
header_length: 100
body_length: 800

"日志3"
type: normal
http_host:  m3.abcd.com
status:  200
request_method:  GET
scheme:  http
header_length: 700
body_length: 800

"日志4"
type: normal
http_host:  m4.abcd.com
status:  404
request_method:  GET
scheme:  https
header_length: 100
body_length: 1300

加工需求4

  • 为所有status字段值为200 并且 request_method字段值为GET 并且 header_length和body_length的字段值之和小于等于1000的日志事件, 添加一个字段type，其值为normal。

LOG DSL编排

e_if(op_and(e_search("status: 200 and request_method: GET"), op_le(op_sum(v("header_length"), v("body_length")), 1000)), e_set("type", "normal"))
  • 在更复杂的逻辑场景下，可通过e_search和其他表达式函数的组合来完成。

加工后的日志

"日志1"
type: normal
http_host:  m1.abcd.com
status:  200
request_method:  GET
scheme:  https
header_length: 700
body_length: 100

"日志2"
http_host:  m2.abcd.com
status:  200
request_method:  POST
scheme:  https
header_length: 100
body_length: 800

"日志3"
http_host:  m3.abcd.com
status:  200
request_method:  GET
scheme:  http
header_length: 700
body_length: 800

"日志4"
http_host:  m4.abcd.com
status:  404
request_method:  GET
scheme:  https
header_length: 100
body_length: 1300

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
日志服务
监控
关键词：
日志服务数据
日志服务最佳实践
日志服务加工
日志服务事件
日志服务数据加工
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
成喆
目录
相关文章
赵渝强老师
|
2月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
赵渝强老师
182 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
运维有小邓
|
1月前
|
缓存 安全 网络协议
使用事件日志识别常见 Windows 错误
事件查看器是Windows操作系统中的标准诊断工具，用于记录系统事件，包括硬件问题、软件中断和系统行为等详细信息。通过分析这些日志，管理员能够追踪和解决系统错误。访问方法包括使用快捷键Win + R输入eventvwr.msc，或通过控制面板进入。事件查看器中的每条记录包含事件ID、来源和描述，帮助识别和解决问题。常见错误如蓝屏死机、DLL错误、驱动程序错误等，可通过更新驱动程序、运行系统诊断、使用恢复功能等方式解决。
运维有小邓
89 4
运维有小邓
|
1月前
|
存储 监控 安全
什么是事件日志管理系统？事件日志管理系统有哪些用处？
事件日志管理系统是IT安全的重要工具，用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志，如防火墙、路由器、交换机等，帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型，包括Windows事件日志、Syslog日志和应用程序日志，通过实时监测、告警及可视化分析，为企业提供强大的安全保障。然而，实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具，不仅提供实时监测与告警、可视化分析和报告功能，还支持多种合规性报告，帮助企业克服挑战，提升网络安全水平。
运维有小邓
95 2
最好zzz
|
3月前
|
XML JSON 监控
告别简陋：Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中，`System.out.println()` 是最基本的输出方法，但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`，并介绍几种更先进的日志解决方案。
最好zzz
94 1
赵渝强老师
|
2月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中，联机重做日志文件记录了数据库的变化，用于实例恢复。每个数据库有多组联机重做日志，每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
赵渝强老师
57 0
糜终
|
3月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
糜终
61 2
丰宝宝
|
4月前
|
设计模式 SQL 安全
PHP中的设计模式：单例模式的深入探索与实践在PHP的编程实践中，设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种，确保一个类只有一个实例，并提供全局访问点，广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用，帮助开发者更好地理解和运用这一设计模式。
在PHP开发中，单例模式通过确保类仅有一个实例并提供一个全局访问点，有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景，并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
丰宝宝
65 2
叫个什么名字
|
4月前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具，然而，如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块，探讨如何使用日志来进行调试、分析与问题排查，并提出了一些实际应用中的优化建议和最佳实践。
叫个什么名字
91 9
莫登耀
|
4月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据，数据的存储和管理消耗您大量的成本，您知道这些数据隐藏着巨大的价值，但是您总觉得还没有把数据的价值变现出来，对吗？来吧，我们用一系列的案例帮您轻松落地AI模型服务，实现数据价值的变现......
莫登耀
276 3
蓝染-惣右介
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法，重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层，允许开发者使用统一的日志接口，而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback，推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback，以及如何使用Lombok简化日志记录。最后，提供了一些日志配置的最佳实践，包括滚动日志、统一日志格式和提高日志性能的方法。
蓝染-惣右介
784 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

云存储

热门文章

最新文章

  • 1
    如何打造千万级Feed流系统
  • 2
    OSS PostObject错误及排查
  • 3
    高并发IM系统架构优化实践
  • 4
    阿里技术女神的成长之路（有生活素颜照哦）
  • 5
    日志客户端（Logstash,Fluentd, Logtail）横评
  • 6
    日志服务数据加工：控制台操作
  • 7
    开放分布式追踪（OpenTracing）入门与 Jaeger 实现
  • 8
    使用阿里云极速型NAS构建高可用的GitLab
  • 9
    现代IM系统中消息推送和存储架构的实现
  • 10
    使用日志服务LogHub替换Kafka
  • 1
    StarTower RIP 技术：重塑智能终端算力生态
    104
  • 2
    阿里云存储：优缺点深度剖析
    146
  • 3
    使用云存储构建云上推理平台
    45
  • 4
    深度解析CPFS 在 LLM 场景下的高性能存储技术
    42
  • 5
    喜报！阿里云荣获 2024 数据存储风云榜两大金奖
    129
  • 6
    NAS极速远程访问！贝锐花生壳推出飞牛fnOS专属内网穿透服务
    281
  • 7
    🌱 深入Spring的心脏：Bean配置的艺术与实践 🌟
    118
  • 8
    云服务器成本优化深度解析与实战案例
    173
  • 9
    2025年，Web3开发学习路线全指南
    139
  • 10
    前端状态管理：Vuex 核心概念与实战
    94

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 阿里云实时数仓实战 - 数据生成及采集

    • 相关电子书

    更多
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
  • 智能化日志中心

    • 相关实验场景

    更多
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
  • 基于工具的数据探查
  • 多账号体系下使用日志服务中心化的管理日志
    • 下一篇
    阿里云oss简介和如何对接使用