日志服务支持Json类型数据

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: JSON数据作为一种通用类型的数据类型,其自解析、灵活的特性,使其能够很好满足复杂场景下数据的记录需求,在很多日志内容中格式不固定的部分往往都是以json的形式进行记录,如将一次http请求的request参数和response内容以json的形式记录在一条日志中。

JSON数据作为一种通用类型的数据类型,其自解析、灵活的特性,使其能够很好满足复杂场景下数据的记录需求,在很多日志内容中格式不固定的部分往往都是以json的形式进行记录,如将一次http请求的request参数和response内容以json的形式记录在一条日志中。

为了更好支持json格式日志的查询和分析功能,日志服务加入了对json类型格式的支持。

核心功能 :

  • 支持json格式解析,所有text、bool类型自动索引

    json_string.key_map.key_text : test_value
    json_string.key_map.key_bool : true
  • 非json array中的double、long类型数据,可通过配置指定json路径后进行查询

    配置key_map.key_long这个字段的类型为long
    查询 : json_string.key_map.key_long > 50 
  • 非json array中的text、double、long类型字段,可开启“统计分析”功能,进行sql分析

    json_string.key_map.key_long > 10 | select count(*) as c , 
        "json_string.key_map.key_text" group by 
        "json_string.key_map.key_text"
    

    使用限制:

    • 不支持json object、json array类型
    • 字段不能在json array中
    • bool类型字段可以转成text类型
  • 支持非完全合法json数据解析
    日志服务会尽可能解析有效内容,直到遇到非法部分结束,如

    "json_string": 
    {
         "key_1" :  "value_1",
         "key_map" : 
          {
                 "key_2" : "value_2",
                 "key_3" : "valu

    在key_3之后的数据被截断丢失,对于这种缺失的日志,日志服务可正确解析到 json_string.key_map.key_2 这个字段

使用参考

对于以下日志样例,其"message"字段是json格式

"message":
{
    "traceInfo": {
        "traceType": "dubbo_provider",
        "stepIndex": "0",
        "requestId": "92.137_1518139699935_5599"
    },
    "methodName": "getProjectInfo",
    "success": true,
    "remoteAddress": "1.1.1.1:11111",
    "param": [
        {
            "projectName": "ali-log-test-project",
            "requestId": "d3f0c96a-51b0-4166-a850-f4175dde7323"
        }
    ],
    "localAddress": "2.2.2.2:22222",
    "errorCode": null,
    "serviceName": "com.aliyun.csc.sls.service.IProjectService",
    "usedTime": 48,
    "exceptionMsg": null,
    "startTime": 1518139699935,
    "result": {
        "message": "successful",
        "code": "200",
        "data": {
            "clusterRegion": "ap-southeast-1",
            "ProjectName": "ali-log-test-project",
            "ProjectDesc": "",
            "ProjectOwner": "11111111111",
            "LastModifyTime": "2017-06-08 20:22:41",
            "ProjectStatus": "Normal",
            "CreateTime": "2017-06-08 20:22:41"
        },
        "success": true
    }
}

通过以下设置,可以对该json字段进行查询和分析:
image

string、bool类型数据查询

message.traceInfo.requestId : 92.137_1518139699935_5599
message.param.projectName : ali-log-test-project
message.success : true
message.result.data.ProjectStatus : Normal

注:
json内字段无需配置
json map、array 自动展开,支持多层嵌套,每一层以"."进行分割

image

long、double类型数据查询

message.usedTime > 40

注:
需要对json内字段独立配置,字段必须不在array

Sql 统计分析

* | select avg("message.usedTime") as avg_time ,
"message.methodName"  group by "message.methodName"

注:
需要对json内字段独立配置,字段必须不在array
查询字段需要使用引号 或者设置 别名


阿里云日志服务存储资源包全新上线,限时5折,详情请戳:https://promotion.aliyun.com/ntms/act/season-cloudproduct.html?spm=5176.11180114.980124.1.3scCsZ&wh_ttid=pc#floor4

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
4月前
|
JSON API 数据格式
淘宝拍立淘按图搜索API系列,json数据返回
淘宝拍立淘按图搜索API系列通过图像识别技术实现商品搜索功能,调用后返回的JSON数据包含商品标题、图片链接、价格、销量、相似度评分等核心字段,支持分页和详细商品信息展示。以下是该API接口返回的JSON数据示例及详细解析:
|
4月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
4月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
5月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1359 86
|
5月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
696 48
|
4月前
|
JSON 中间件 Java
【GoGin】(3)Gin的数据渲染和中间件的使用:数据渲染、返回JSON、浅.JSON()源码、中间件、Next()方法
我们在正常注册中间件时,会打断原有的运行流程,但是你可以在中间件函数内部添加Next()方法,这样可以让原有的运行流程继续执行,当原有的运行流程结束后再回来执行中间件内部的内容。​ c.Writer.WriteHeaderNow()还会写入文本流中。可以看到使用next后,正常执行流程中并没有获得到中间件设置的值。接口还提供了一个可以修改ContentType的方法。判断了传入的状态码是否符合正确的状态码,并返回。在内部封装时,只是标注了不同的render类型。再看一下其他返回的类型;
269 3
|
4月前
|
JSON Java Go
【GoGin】(2)数据解析和绑定:结构体分析,包括JSON解析、form解析、URL解析,区分绑定的Bind方法
bind或bindXXX函数(后文中我们统一都叫bind函数)的作用就是将,以方便后续业务逻辑的处理。
349 3
|
5月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
5月前
|
JSON 自然语言处理 监控
淘宝关键词搜索与商品详情API接口(JSON数据返回)
通过商品ID(num_iid)获取商品全量信息,包括SKU规格、库存、促销活动、卖家信息、详情页HTML等。
|
5月前
|
机器学习/深度学习 JSON 监控
淘宝拍立淘按图搜索与商品详情API的JSON数据返回详解
通过调用taobao.item.get接口,获取商品标题、价格、销量、SKU、图片、属性、促销信息等全量数据。

相关产品

  • 日志服务