jinglei.syh个人页面-阿里云开发者社区

日志服务 - 数据加工- Nginx日志解析实践

数据加工服务简介数据加工服务是阿里云日志服务推出的面向日志ETL处理的服务，主要解决数据加工过程中转换、过滤、分发、富化等场景。数据加工服务集成在日志服务里。数据加工支持的常见场景：数据分发场景数据规整（一对一）数据分派（一对多）接下来，我们以nginx日志解析为例，抛砖引玉，帮助大家快速入门阿里云日志服务的数据加工。用于解析的Nginx日志假设我们通过极简模式采集了Nginx默认日志。默认的nginx 日志format如下 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 机器上看到日志是这样的使用阿里云日志服务采集极简日志如下控制台启用数据加工控制台打开“数据加工”按钮，然后在输入框里输入DSL语句，点击预览数据即可看到数据加工的效果。字段正则抽取通过正则，抽取nginx日志里的字段，这里可以用到正则的捕获组名称设置变量名称 e_regex("源字段名", "正则或有命名捕获正则", "目标字段名或数组(可选)", mode="fill-auto") 推荐一个正则编写辅助工具： https://regex101.com/ 实际使用DSL语句 e_regex("content",'(?<remote_addr>[0-9:\.]*) - (?<remote_user>[a-zA-Z0-9\-_]*) \[(?<local_time>[a-zA-Z0-9\/ :\-]*)\] "(?<request>[^"]*)" (?<status>[0-9]*) (?<body_bytes_sent>[0-9\-]*) "(?<refer>[^"]*)" "(?<http_user_agent>[^"]*)"') 时间字段处理默认格式的localtime不易读，我们把它解析成易读的格式用到的dsl语句，通过dsl e_set("字段名", "固定值或表达式函数", ..., mode="overwrite") dt_strftime(日期时间表达式, "格式化字符串") dt_strptime('值如v("字段名")', "格式化字符串") 实际使用的dsl语句 e_set("local_time", dt_strftime(dt_strptime(v("local_time"),"%d/%b/%Y:%H:%M:%S %z"),"%Y-%m-%d %H:%M:%S")) Request URI解析接下来，我们希望对 requst字段进行抽取，我们看到request 字段是由 HTTP_METHOD URI HTTP版本组成的。我们可以用以下函数来做实现 e_regex("源字段名", "正则或有命名捕获正则", "目标字段名或数组(可选)", mode="fill-auto") # 进行urldecode url_decoding('值如v("字段名")’) # 设置字段值 e_set("字段名", "固定值或表达式函数", ..., mode="overwrite") e_kv 将request url中的key value键值对进行抽取实现语句 e_regex("request", "(?<request_method>[^\s]*) (?<request_uri>[^\s]*) (?<http_version>[^\s]*)") e_set("request_uri", url_decoding(v("request_uri"))) e_kv("request_uri") 实现效果 HTTP Code状态码映射如果我们想把http code映射出具体的code描述信息，比如我想把404 映射为not found，可以用e_dict_map函数 e_dict_map(“字典如{‘k1’:‘v1’, ‘k2’:‘v2’}”, “源字段正则或列表”, “目标字段名”) 用到的DSL，如果有key match不到，就会使用*这个key对应的值 e_dict_map({'200':'OK', '304' : '304 Not Modified', '400':'Bad Request', '401':'Unauthorized', '403':'Forbidden', '404':'Not Found', '500':'Internal Server Error', '*':'unknown'}, "status", "status_desc") 效果通过User Agent判断客户端操作系统如果我们想了解客户用的是什么os版本，可以通过user agent里的字段用正则匹配来判断，用到dsl语句 e_switch("条件1e_match(...)", "操作1如e_regex(...)", "条件2", "操作2", ..., default="可选无匹配时的操作") regex_match('值如v("字段名")', r"正则表达式", full=False) e_set("字段名", "固定值或表达式函数", ..., mode="overwrite") 用到的dsl语句 e_switch(regex_match(v("content"), "Mac"), e_set("os", "osx"), regex_match(v("content"), "Linux"), e_set("os", "linux"), regex_match(v("content"), "Windows"), e_set("os", "windows"), default=e_set("os", "unknown") ) 效果 4xx的日志单独投递到指定logstore 可以使用e_output函数来做日志投递，用regex_match做字段匹配 regex_match('值如v("字段名")', r"正则表达式", full=False) e_output(name=None, project=None, logstore=None, topic=None, source=None, tags=None) e_if("条件1如e_match(...)", "操作1如e_regex(...)", "条件2", "操作2", ....) 实际的dsl语句 e_if(regex_match(v("status"),"^4.*"), e_output(name="logstore_4xx", project="dashboard-demo", logstore="dsl-nginx-out-4xx")) 在预览里看到这个效果。（保存加工的时候，需要设置好对应project、logstore的ak信息）完整的DSL代码以及上线流程完整的DSL代码 # 通用字段抽取 e_regex("content",'(?<remote_addr>[0-9:\.]*) - (?<remote_user>[a-zA-Z0-9\-_]*) \[(?<local_time>[a-zA-Z0-9\/ :\-]*)\] "(?<request>[^"]*)" (?<status>[0-9]*) (?<body_bytes_sent>[0-9\-]*) "(?<refer>[^"]*)" "(?<http_user_agent>[^"]*)"') # 设置localttime e_set("local_time", dt_strftime(dt_strptime(v("local_time"),"%d/%b/%Y:%H:%M:%S %z"),"%Y-%m-%d %H:%M:%S")) # uri字段抽取 e_regex("request", "(?<request_method>[^\s]*) (?<request_uri>[^\s]*) (?<http_version>[^\s]*)") e_set("request_uri", url_decoding(v("request_uri"))) e_kv("request_uri") # http code映射 e_dict_map({'200':'OK', '304':'304 Not Modified', '400':'Bad Request', '401':'Unauthorized', '403':'Forbidden', '404':'Not Found', '500':'Internal Server Error', '*':'unknown'}, "status", "status_desc") # user agent 字段判断 e_switch(regex_match(v("content"), "Mac"), e_set("os", "osx"), regex_match(v("content"), "Linux"), e_set("os", "linux"), regex_match(v("content"), "Windows"), e_set("os", "windows"), default=e_set("os", "unknown") ) # logstore单独投递 e_if(regex_match(v("status"),"^4.*"), e_output(name="logstore_4xx", project="dashboard-demo", logstore="dsl-nginx-out-4xx")) 在页面提交代码以后，保存数据加工配置目标logstore信息。如果有e_output的话，需要设置对应额外的存储目标名称、project、logstore需要和代码里一致保存完即完成上线，可以在数据处理-加工下看到该任务，点击进去可以看到加工延迟等信息。如果需要进行修改，也可以通过该入口进入修改。参考 https://help.aliyun.com/document_detail/125384.html 【阿里云日志服务- 数据加工简介】 https://help.aliyun.com/document_detail/159702.html 【阿里云日志服务-数据加工函数总览】

jinglei.syh个人页面-阿里云开发者社区

个人介绍

擅长的技术

数据加工 - 日志富化实战

日志服务 - 数据加工- Nginx日志解析实践

数据加工 - 日志富化实战

数据加工 - 日志富化实战

日志服务 - 数据加工- Nginx日志解析实践