AI 助理
备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工：快速开始（SLB日志加工实战）

2019-06-10 5395
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
文件存储 NAS，50GB 3个月
云备份 Cloud Backup，100GB 3个月
简介： 日志服务数据加工上线，本文以SLB日志加工实战为例，覆盖规则编写、控制台交互、权限配置、监控排错等

背景

这里我们拿一个Logstore中的网关数据（阿里云SLB日志）举例，对其数据进行加工并分发到不同的Logstore中。

数据

源logstore（slb-log）的数据内容是一个阿里云SLB的网络日志，格式样例如下：

__source__:  log_service
__tag__:__receive_time__:  1559799897
__topic__:  
body_bytes_sent:  740
client_ip:  1.2.3.4
host:  m.abcd.com
http_host:  m.abcd.com
http_referer:  -
http_x_forwarded_for:  -
http_x_real_ip:  -
read_request_time:  0
request_length:  0
request_method:  GET
request_time:  0.000
request_uri:  /category/abc/product_id?id=75&type=2&sam=123
scheme:  https
server_protocol:  HTTP/2.0
slb_vport:  443
slbid:  lb-1234
ssl_cipher:  ECDHE-RSA-AES128-GCM-SHA256
ssl_protocol:  TLSv1.2
status:  200
tcpinfo_rtt:  58775
time:  2019-06-06T13:44:50+08:00
upstream_addr:  1.2.3.4:80
upstream_response_time:  4.1234
upstream_status:  200
vip_addr:  1.2.3.4
write_response_time: 4.1234

目标

这里我们希望对数据进行如下加工，获取三份数据：

分发

  1. 将所有status非2XX或者3XX的请求，复制一份到目标logstore: slb-log-error中，日志时间180天，以便进一步做研发与安全类分析，__topic__设置为slb_error
  2. 将所有不那么重要的图片或静态资源的请求日志，分发到目标logstore: slb-log-media，日志保存30天, topic设置为slb_media_request
  3. 其他的请求日志，用于进一步分析统计业务对接的，分发到目标logstore: slb-log-normal，日志保存90天，topic设置为slb_normal

转换

  1. 对slb_media_request的请求
  • 提取如下字段
object_file=app.icon
object_type = icon   # css, jpeg, js 等
  • 保留如下字段：
http_referer:  -
body_bytes_sent:  740
client_ip:  1.2.3.4
host:  m.abcd.com
request_time:  4.33
  1. slb_normal请求
  • 保留如下字段
body_bytes_sent:  740
client_ip:  1.2.3.4
host:  m.abcd.com
http_referer:  -
http_x_real_ip:  -
request_length:  0
request_method:  GET
request_time:  4.33
request_uri:  /category/abc/product_id?id=75&type=2&sam=123
scheme:  https
slb_vport:  443
slbid:  lb-1234
status:  200
time:  2019-06-06T13:44:50+08:00
  • 提取request_uri的参数加上前缀reqparam_
reqparam_id: 75
reqparam_type: 2
reqparam_sam: 123
  • http_x_real_ip如果为空或者-时，填上client_ip的值
  • 提取host中的domain值:
domain:  abcd

准备工作

目标logstore准备

  1. 创建好如下3个logstore
slb-log-normal  # 日志保存90天，逻辑命名定为target0
slb-log-error    # 日志保存180天，逻辑命名定为target1
slb-log-media  # 日志保存30天， 逻辑命名定为target2
  1. 并各自配置好索引
    点击每个logstore的【查询】页面的【索引】设置，并根据每个logstore存储的日志的字段，配置相应的索引。也可以使用CloudShell中的CLI的copy_logstore子命令来从源logstore复制一份索引到目标，再进行调整来简化操作。

权限秘钥准备

当前操作需要授权以便读取源logstore或写入目标logstore

  • 通过AK秘钥授权
  • 通过角色授权（二期会支持）

需要准备好一个或多个（每个logstore对应一个）AK秘钥访问：

源logstore的最小RAM授权

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:ListShards",
        "log:GetCursorOrData",
        "log:GetConsumerGroupCheckPoint",
        "log:UpdateConsumerGroup",
        "log:ConsumerGroupHeartBeat",
        "log:ConsumerGroupUpdateCheckPoint",
        "log:ListConsumerGroup",
        "log:CreateConsumerGroup"
      ],
      "Resource": [
        "acs:log:*:*:project/源project/logstore/slb-log",
    "acs:log:*:*:project/源project/logstore/slb-log/*"
      ],
      "Effect": "Allow"
    }
  ]
}

目标logstore的最小RAM授权

{
  "Statement": [
    {
      "Action": [
        "log:Post*"
      ],
      "Effect": "Allow",
      "Resource": [ "acs:log:*:*:project/目标Project/logstore/slb-log-error", "acs:log:*:*:project/目标Project/logstore/slb-log-media", "acs:log:*:*:project/目标Project/logstore/slb-log-normal"]
    }
  ],
  "Version": "1"
}

也可以考虑将这两个授权合并成一个以便简化操作。

配置加工任务

进入加工规则界面

  1. 在日志服务列表中，选择源logstore（slb-log）的数据接入右边的+号直接进入加工模式.

image

  1. 进入交互的加工界面
    在 #1 中选择日期的时间，例如【今天】，确保能够看到数据：

image

复制失败的请求日志到sbl-log-error

在编辑框中输入如下的规则（关于语法说明，可参考后续的章节）：

e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))
e_drop()

再点击【预览数据】，会弹窗提示输入访问源logstore的AK秘钥，输入前面准备好的AK秘钥：
image

等待一会儿之后，可以在【数据加工】标签页中看到结果中，所有非2XX/3XX的请求会被输出到target1的目标中，且topic设置为了slb_error：
image

提取静态类请求日志并输出到sbl-log-media

在规则编辑框中更新如下规则（关于语法说明，可参考后续的章节）：

# e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))

e_regex("request_uri", r"([\.\w]+\.\w+)", "object_file")
e_regex("object_file",  r"(\w+)$", "object_type")
e_if(v("object_file"), e_compose(e_keep_fields(F_META, r"object_\w+|request_uri|client_ip|host|request_time"), 
                                                                 e_output(name="target2", topic="slb_media_request")))

e_drop()

再点击【预览数据】，等一会，可以在【数据加工】标签页中看到结果，静态类请求将会被输出到target2的目标中。如前面需求描述，特定的字段被提取，并且还新增了2个字段object_file和object_type，并且topic设置为了slb_media_request：
image

调整字段并输出正常请求日志到sbl-log-normal

在编辑框中更新如下规则（关于语法说明，可参考后续的章节）：

# e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))

# e_regex("request_uri", r"([\.\w]+\.\w+)", "object_file")
# e_regex("object_file",  r"(\w+)$", "object_type")
# e_if(v("object_file"), e_compose(e_keep_fields(F_META, r"object_\w+|request_uri|client_ip|host|request_time"), 
#                                                                  e_output(name="target2", topic="slb_media_request")))

e_set("__topic__", "slb_normal")
e_kv("request_uri", prefix="reqparam_")
e_if(op_eq(v("http_x_real_ip"), "-"), e_set("http_x_real_ip", v('client_ip')))
e_keep_fields(F_META, r"body_bytes_sent|client_ip|host|http_referer|http_x_real_ip|request_length", 
                                       "request_method|request_time|request_uri|scheme|slb_vport|slbid|status")

再点击【预览数据】，等一会，可以在【数据加工】标签页中看到结果，非媒体类请求将被输出到target0的目标中，如前面需求描述，特定的字段被提取，并且字段http_x_real_ip被设置成了非-的值，且topic设置为了slb_normal：
image

保存配置

最终加工规则
在确认规则正确后，去掉注释的部分，就是完整版本：

e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))

e_regex("request_uri", r"([\.\w]+\.\w+)", "object_file")
e_regex("object_file",  r"(\w+)$", "object_type")
e_if(v("object_file"), e_compose(e_keep_fields(F_META, r"object_\w+|request_uri|client_ip|host|request_time"), 
                                                                 e_output(name="target2", topic="slb_media_request")))

e_set("__topic__", "slb_normal")
e_kv("request_uri", prefix="reqparam_")
e_if(op_eq(v("http_x_real_ip"), "-"), e_set("http_x_real_ip", v('client_ip')))
e_keep_fields(F_META, r"body_bytes_sent|client_ip|host|http_referer|http_x_real_ip|request_length", 
                                       "request_method|request_time|request_uri|scheme|slb_vport|slbid|status")

配置目标

点击【保存加工配置】，在配置中，依据前面的需求，配置源logstore的秘钥（预览的时候已经配置了），以及3个目标logstore的Project名、logstore名和写入的AK秘钥。注意3个目标的逻辑名称需要与规则中应用的规则保持一致。

image

配置加工范围
在加工范围中，可以根据情况选择【所有】、【某个时间开始】或者特定范围，这里选择【某个时间开始】，并选择此刻。那么保存后，新写入源logstore的数据将会自动应用规则写入到配置的3个目标去。
注意, 这里的时间是日志接收时间

image

加工任务管理与监控

任务管理

点击日志服务项目页面的左侧导航栏中的【数据加工】，可以看到保存的加工任务，可以根据情况选择修改、停止、重启等操作。
image

规则洞察

对于数据加工的任务详情中下方就是任务的执行状态：
image
image

语法详细说明

第一次预览操作

规则

e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))
e_drop()

说明

  1. 这里使用条件判断e_if(条件，操作)，当条件e_match为真时，执行操作e_coutput。
  • 操作e_match("status", r"4\d+|5\d+")检查日志的status字段值是否为4XX或5XX的形式；Python语法中，字符串前面用r修饰，可以避免写两个\的麻烦。
  • 操作：e_coutput('target1', topic="slb_error") 表示复制一份数据并输出到目标target1中，并且将topic设置为slb_error
  1. 函数e_drop()表示丢弃所有剩余的日志；这里是为了预览的效果特意加上，实际保存的配置中不会有这句话。

第二次预览操作

规则

# e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))

e_regex("request_uri", r"([\.\w]+\.\w+)", "object_file")
e_regex("object_file",  r"(\w+)$", "object_type")
e_if(v("object_file"), e_compose(e_keep_fields(F_META, r"object_\w+|request_uri|client_ip|host|request_time"), 
                                                                 e_output(name="target2", topic="slb_media_request")))

e_drop()

详细说明

  1. 操作e_regex()表示从字段request_uri中提取了字段object_file，然后进一步从object_file中提取了object_type，如果object_file不存在，字段object_type也不会存在。
  2. e_compose(操作1，操作2)对两个操作进行组合，依次执行。e_if(条件，e_compose(操作1，操作2))表示对于字段object_file不为空的事件，保留特定字段，并且输出到target2，由于这里使用的是e_output而非e_coutput，因此这些事件被输出后不再后续处理。
  3. 规则中的第一行步骤使用Python的语法方式#注释掉了，保留最后一行e_drop()的目的是方便预览。

第三次预览操作

规则

# e_if(e_match("status", r"4\d+|5\d+"), e_coutput("target1", topic="slb_error"))

# e_regex("request_uri", r"([\.\w]+\.\w+)", "object_file")
# e_regex("object_file",  r"(\w+)$", "object_type")
# e_if(v("object_file"), e_compose(e_keep_fields(F_META, r"object_\w+|request_uri|client_ip|host|request_time"), 
#                                                                  e_output(name="target2", topic="slb_media_request")))

e_set("__topic__", "slb_normal")
e_kv("request_uri", prefix="reqparam_")
e_if(op_eq(v("http_x_real_ip"), "-"), e_set("http_x_real_ip", v('client_ip')))
e_keep_fields(F_META, r"body_bytes_sent|client_ip|host|http_referer|http_x_real_ip|request_length", 
                                       "request_method|request_time|request_uri|scheme|slb_vport|slbid|status")

详细说明

  1. 操作e_set()设置默认事件的__topic__
  2. 操作e_kv()，对字段request_uri的值进行KV操作，自动提取其中的键值对并放到事件中。
  3. 进一步的基于表达式函数op_eq设置了字段http_x_real_ip的值。最后e_keep_fields保留特定字段。
  4. 这里没有使用e_output()等，因为默认会将事件输出到第一个配置的目标target0中。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
负载均衡
日志服务
Python
索引
关键词：
日志服务日志
日志服务数据
日志服务实战
日志负载均衡
日志服务slb
相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改，快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
成喆
目录
相关文章
赵渝强老师
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
赵渝强老师
149 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
小王老师呀
|
1月前
|
Java Maven Spring
超实用的SpringAOP实战之日志记录
【11月更文挑战第11天】本文介绍了如何使用 Spring AOP 实现日志记录功能。首先概述了日志记录的重要性及 Spring AOP 的优势，然后详细讲解了搭建 Spring AOP 环境、定义日志切面、优化日志内容和格式的方法，最后通过测试验证日志记录功能的准确性和完整性。通过这些步骤，可以有效提升系统的可维护性和可追踪性。
小王老师呀
31 1
Codelinghu
|
2月前
|
Java 程序员 应用服务中间件
「测试线排查的一些经验-中篇」&& 调试日志实战
「测试线排查的一些经验-中篇」&& 调试日志实战
Codelinghu
29 1
「测试线排查的一些经验-中篇」&& 调试日志实战
赵渝强老师
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中，联机重做日志文件记录了数据库的变化，用于实例恢复。每个数据库有多组联机重做日志，每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
赵渝强老师
41 0
糜终
|
2月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
糜终
49 2
Echo_Wish
|
24天前
|
负载均衡 前端开发 应用服务中间件
负载均衡指南：Nginx与HAProxy的配置与优化
负载均衡指南：Nginx与HAProxy的配置与优化
Echo_Wish
44 3
Jack_hrx
|
6月前
|
缓存 负载均衡 算法
解读 Nginx：构建高效反向代理和负载均衡的秘密
解读 Nginx：构建高效反向代理和负载均衡的秘密
Jack_hrx
134 2
香吧香
|
5月前
|
负载均衡 算法 应用服务中间件
nginx自定义负载均衡及根据cpu运行自定义负载均衡
nginx自定义负载均衡及根据cpu运行自定义负载均衡
香吧香
105 1
yuanzhengme
|
5月前
|
运维 负载均衡 算法
SLB与NGINX的异同是什么
SLB与NGINX的异同是什么
yuanzhengme
553 2
北桥苏
|
7月前
|
负载均衡 应用服务中间件 nginx
解决nginx配置负载均衡时invalid host in upstream报错
在Windows环境下，配置Nginx 1.11.5进行负载均衡时遇到问题，服务无法启动。错误日志显示“invalid host in upstream”。检查发现上游服务器列表中，192.168.29.128的主机地址无效。负载均衡配置中，两个服务器地址前误加了"http://"。修正方法是删除上游服务器列表和proxy_pass中的"http://"。问题解决后，Nginx服务应能正常启动。
北桥苏
575 4
解决nginx配置负载均衡时invalid host in upstream报错

云存储

热门文章

最新文章

  • 1
    5分钟搭建网站实时分析：Grafana+日志服务实战
  • 2
    日志服务数据加工：控制台操作
  • 3
    使用日志服务LogHub替换Kafka
  • 4
    阿里云NAS文件存储部署方案介绍和对比
  • 5
    亿级消息系统的核心存储：Tablestore发布Timeline 2.0模型
  • 6
    Aliyun OSS Java SDK超时时间设置
  • 7
    日志服务支持Shard自动分裂
  • 8
    OSS定制自定义response header
  • 9
    SMB小传 —— SMB网络文件系统协议介绍
  • 10
    Logtail从入门到精通（一）：日志采集杂谈
  • 1
    喜报！阿里云荣获 2024 数据存储风云榜两大金奖
    25
  • 2
    NAS极速远程访问！贝锐花生壳推出飞牛fnOS专属内网穿透服务
    83
  • 3
    🌱 深入Spring的心脏：Bean配置的艺术与实践 🌟
    52
  • 4
    云服务器成本优化深度解析与实战案例
    89
  • 5
    2025年，Web3开发学习路线全指南
    73
  • 6
    前端状态管理：Vuex 核心概念与实战
    50
  • 7
    C 语言中的数据类型转换：连接不同数据世界的桥梁
    101
  • 8
    C 语言中的文件操作：数据持久化的关键桥梁
    69
  • 9
    Java 异常处理：机制、策略与最佳实践
    80
  • 10
    在React框架中，如何使用对象来管理组件的状态
    43

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 阿里云实时数仓实战 - 数据生成及采集

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
  • 使用SLB+2ECS+NAS，部署电商web网站的高可用架构
    • 下一篇
    DataWorks售前咨询