AI 助理
备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工最佳实践: 多子键为数组的复杂JSON加工

2019-08-02 1093
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
日志服务 SLS，月写入数据量 50GB 1个月
文件存储 NAS，50GB 3个月
简介： 程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 本篇如何使用日志服务数据加工处理多子键为数组的复杂JSON.

加工需求

统计类日志形式

程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 例如一个服务器每隔1分钟写入一条日志, 包含当前信息状态, 以及相关服务器和客户端节点的统计状态信息.

样例:

__source__:  1.2.3.4
__topic__:  
content:{
     "service": "search_service",
     "overal_status": "yellow",
     "servers": [
         {
             "host": "1.2.3.4",
             "status": "green"
         },
         {
             "host": "1.2.3.5",
             "status": "green"
         }
     ],
     "clients": [
         {
             "host": "1.2.3.6",
             "status": "green"
         },
         {
             "host": "1.2.3.7",
             "status": "red"
         }
     ]
}

加工需求

1、对原始日志进行topic分裂，主题主要分为三个，分别是overall_type、client_status、server_status
2、对于不同的topic保存不同的信息

  • overall_type：保留server、client数量，overal_status颜色和service信息
  • client_status: 保留对应的host地址、status状态和service信息
  • server_status: 保留对应的host地址、status状态和service信息

期望输出的日志

期望样例中的一条日志会被分裂加工成5条日志:

__source__:  1.2.3.4
__topic__:  overall_type
client_count:  2
overal_status:  yellow
server_count:  2
service:  search_service


__source__:  1.2.3.4
__topic__:  client_status
host:  1.2.3.7
status:  red
service:  search_service


__source__:  1.2.3.4
__topic__:  client_status
host:  1.2.3.6
status:  green
service:  search_service


__source__:  1.2.3.4
__topic__:  server_status
host:  1.2.3.4
status:  green
service:  search_service


__source__:  1.2.3.4
__topic__:  server_status
host:  1.2.3.5
status:  green
service:  search_service

解决方案

初步处理

1、第一步将一条日志拆分成3条日志, 给主题赋予3个不同值, 在进行分裂，经过分裂后会分成除了topic不同，其他信息相同的三条日志。

e_set("__topic__", "server_status,client_status,overall_type")
e_split("__topic__")

处理后日志格式如下(在内存中)：

__source__:  1.2.3.4
__topic__:  server_status                    // 另外2条是client_status和overall_type, 其他一样
content:  {
    ...如前...
}

2、第二步为基于content的JSON内容在第一层展开, 并删除content字段:

e_json('content',depth=1)
e_drop_fields("content")

处理后的日志格式如下(在内存中):

__source__:  1.2.3.4
__topic__:  overall_type                          // 另外2条是client_status和overall_type, 其他一样
clients:  [{"host": "1.2.3.6", "status": "green"}, {"host": "1.2.3.7", "status": "red"}]
overal_status:  yellow
servers:  [{"host": "1.2.3.4", "status": "green"}, {"host": "1.2.3.5", "status": "green"}]
service:  search_service

处理overall_type日志

  1. 针对主题是overall_type的日志, 统计client_count和server_count:
e_if(e_search("__topic__==overall_type"), 
       e_compose(
                 e_set("client_count" json_select(v("clients"), "length([*])", default=0)), 
                 e_set("server_count" json_select(v("servers"), "length([*])", default=0))
    ))

处理后的日志为(仅显示修改部分):

__topic__:  overall_type
server_count:  2
client_count:  2
  1. 丢弃相关字段:
e_if(e_search("__topic__==overall_type"), e_drop_fields("clients", "servers"))

处理server_status日志

  1. 针对主题是server_status的日志, 进行进一步分裂.
e_if(e_search("__topic__==server_status"), 
       e_compose(
                 e_split("servers"), 
                 e_json("servers", depth=1)
    ))

处理后的日志为2条如下(仅显示修改部分):

__topic__:  server_status
servers:  {"host": "1.2.3.4", "status": "green"}
host: 1.2.3.4
status: green

和

__topic__:  server_status
servers:  {"host": "1.2.3.5", "status": "green"}
host: 1.2.3.5
status: green
  1. 保留相关字段:
e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))

处理client_status日志

  1. 同理, 针对主题是client_status的日志, 进行进一步分裂, 在删除多余字段.
e_if(e_search("__topic__==client_status"), 
       e_compose(
                 e_split("clients"), 
                 e_json("clients", depth=1),
                 e_drop_fields("clients")
    ))

处理后的日志为2条如下(仅显示修改部分):

__topic__:  client_status
host: 1.2.3.6
status: green

和

__topic__:  clients
host: 1.2.3.7
status: red

综合

综上，LOG DSL规则是


# 总体分裂
e_set("__topic__", "server_status,client_status,overall_type")
e_split("__topic__")
e_json('content',depth=1)
e_drop_fields("content")

# 处理overall_type日志
e_if(e_search("__topic__==overall_type"), 
       e_compose(
                 e_set("client_count" json_select(v("clients"), "length([*])", default=0)), 
                 e_set("server_count" json_select(v("servers"), "length([*])", default=0))
    ))

# 处理server_status日志
e_if(e_search("__topic__==server_status"), 
       e_compose(
                 e_split("servers"), 
                 e_json("servers", depth=1)
    ))
e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))


# 处理client_status日志
e_if(e_search("__topic__==client_status"), 
       e_compose(
                 e_split("clients"), 
                 e_json("clients", depth=1),
                 e_drop_fields("clients")
    ))

方案优化

一个边界问题

注意到以上方案对于content.servers和content.servers是空时的处理有一些问题,

假设原始日志是:

__source__:  1.2.3.4
__topic__:  
content:{
            "service": "search_service",
            "overal_status": "yellow",
            "servers": [ ],
            "clients": [ ]
}

会被分裂为3条日志, 其中主题是client_status和server_status的日志内容是空的.

__source__:  1.2.3.4
__topic__:  overall_type
client_count:  0
overal_status:  yellow
server_count:  0
service:  search_service


__source__:  1.2.3.4
__topic__:  client_status
service:  search_service
__source__:  1.2.3.4


__topic__:  server_status
host:  1.2.3.4
status:  green
service:  search_service

方案1

这里可以在初始分裂后, 处理server_status和client_status日志前分别判断并丢弃空的相关事件:

# 处理server_status: 空的丢弃(非空保留)
e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])")))

# 处理client_status: 空的丢弃(非空保留)
e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])")))

综合

综上，LOG DSL规则是


# 总体分裂
e_set("__topic__", "server_status,client_status,overall_type")
e_split("__topic__")
e_json('content',depth=1)
e_drop_fields("content")

# 处理overall_type日志
e_if(e_search("__topic__==overall_type"), 
       e_compose(
                 e_set("client_count" json_select(v("clients"), "length([*])", default=0)), 
                 e_set("server_count" json_select(v("servers"), "length([*])", default=0))
    ))

# 新加: 预处理server_status: 空的丢弃(非空保留) 
e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])")))

# 处理server_status日志
e_if(e_search("__topic__==server_status"), 
       e_compose(
                 e_split("servers"), 
                 e_json("servers", depth=1)
    ))
e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))


# 新加: 预处理client_status: 空的丢弃(非空保留) 
e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])")))

# 处理client_status日志
e_if(e_search("__topic__==client_status"), 
       e_compose(
                 e_split("clients"), 
                 e_json("clients", depth=1),
                 e_drop_fields("clients")
    ))

方案2

在初始分裂时进行判断, 如果对应数据是空的就不分裂出更多事件:

# 初始主题
e_set("__topic__", "server_status")

# 如果content.servers非空, 则从server_status分裂出1条日志
e_if(json_select(v("content"), "length(servers[*])"),
     e_compse(
           e_set("__topic__", "server_status,overall_type"),
           e_split("__topic__")
     ))

# 如果content.clients非空, 则从overall_type再分裂出1条日志
e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")),
     e_compse(
           e_set("__topic__", "client_status,overall_type"),
           e_split("__topic__")
     ))

综合

综上，LOG DSL规则是


# 总体分裂
e_set("__topic__", "server_status")

# 如果content.servers非空, 则从server_status分裂出1条日志
e_if(json_select(v("content"), "length(servers[*])"),
     e_compse(
           e_set("__topic__", "server_status,overall_type"),
        e_split("__topic__")
     ))

# 如果content.clients非空, 则从server_status分裂出1条日志
e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")),
     e_compse(
           e_set("__topic__", "client_status,overall_type"),
        e_split("__topic__")
     ))

# 处理overall_type日志
e_if(e_search("__topic__==overall_type"), 
       e_compose(
                 e_set("client_count" json_select(v("clients"), "length([*])", default=0)), 
                 e_set("server_count" json_select(v("servers"), "length([*])", default=0))
    ))

# 处理server_status日志
e_if(e_search("__topic__==server_status"), 
       e_compose(
                 e_split("servers"), 
                 e_json("servers", depth=1)
    ))
e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))


# 处理client_status日志
e_if(e_search("__topic__==client_status"), 
       e_compose(
                 e_split("clients"), 
                 e_json("clients", depth=1),
                 e_drop_fields("clients")
    ))

比较

方案1会在分裂出日志后再删除, 逻辑上有些多余, 但规则简单易维护. 默认推荐.
方案2会在分裂前进行判断, 处理效率会高一些, 但规则略微冗余, 仅在特定场景(例如初始分裂可能导致大量额外事件产生)时推荐.

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
日志服务
关键词：
日志服务数据
JSON数据
日志JSON
日志服务json
日志服务最佳实践
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
成喆
目录
相关文章
六卿
|
9天前
|
XML 存储 JSON
Twaver-HTML5基础学习(19)数据容器(2)_数据序列化_XML、Json
本文介绍了Twaver HTML5中的数据序列化，包括XML和JSON格式的序列化与反序列化方法。文章通过示例代码展示了如何将DataBox中的数据序列化为XML和JSON字符串，以及如何从这些字符串中反序列化数据，重建DataBox中的对象。此外，还提到了用户自定义属性的序列化注册方法。
六卿
25 1
游客j4mujezz7vm7y
|
6天前
|
存储 JSON Go
在Gin框架中优雅地处理HTTP请求体中的JSON数据
在Gin框架中优雅地处理HTTP请求体中的JSON数据
游客j4mujezz7vm7y
19 6
无所不能的蛋蛋
|
9天前
|
JSON JavaScript 数据格式
vue写入json数据到文本中+vue引入cdn的用法
vue写入json数据到文本中+vue引入cdn的用法
无所不能的蛋蛋
31 10
1592440288735793
|
9天前
|
设计模式 SQL 安全
PHP中的设计模式：单例模式的深入探索与实践在PHP的编程实践中，设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种，确保一个类只有一个实例，并提供全局访问点，广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用，帮助开发者更好地理解和运用这一设计模式。
在PHP开发中，单例模式通过确保类仅有一个实例并提供一个全局访问点，有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景，并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
1592440288735793
23 2
六卿
|
7天前
|
JSON 数据格式
Blob格式转json格式，拿到后端返回的json数据
文章介绍了如何将后端返回的Blob格式数据转换为JSON格式，并处理文件下载和错误提示。
六卿
17 0
Blob格式转json格式，拿到后端返回的json数据
叫个什么名字
|
23天前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具，然而，如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块，探讨如何使用日志来进行调试、分析与问题排查，并提出了一些实际应用中的优化建议和最佳实践。
叫个什么名字
42 9
小白学大数据
|
22天前
|
JSON JavaScript 前端开发
Haskell中的数据交换：通过http-conduit发送JSON请求
Haskell中的数据交换：通过http-conduit发送JSON请求
小白学大数据
46 5
莫登耀
|
28天前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据，数据的存储和管理消耗您大量的成本，您知道这些数据隐藏着巨大的价值，但是您总觉得还没有把数据的价值变现出来，对吗？来吧，我们用一系列的案例帮您轻松落地AI模型服务，实现数据价值的变现......
莫登耀
128 3
蓝易云
|
25天前
|
存储 JSON API
Python编程：解析HTTP请求返回的JSON数据
使用Python处理HTTP请求和解析JSON数据既直接又高效。`requests`库的简洁性和强大功能使得发送请求、接收和解析响应变得异常简单。以上步骤和示例提供了一个基础的框架，可以根据你的具体需求进行调整和扩展。通过合适的异常处理，你的代码将更加健壮和可靠，为用户提供更加流畅的体验。
蓝易云
62 0
土木林森
|
2月前
|
SQL 数据库 Java
Hibernate 日志记录竟藏着这些秘密？快来一探究竟，解锁调试与监控最佳实践
【8月更文挑战第31天】在软件开发中，日志记录对调试和监控至关重要。使用持久化框架 Hibernate 时，合理配置日志可帮助理解其内部机制并优化性能。首先，需选择合适的日志框架，如 Log4j 或 Logback，并配置日志级别；理解 Hibernate 的多级日志，如 DEBUG 和 ERROR，以适应不同开发阶段需求；利用 Hibernate 统计功能监测数据库交互情况；记录自定义日志以跟踪业务逻辑；定期审查和清理日志避免占用过多磁盘空间。综上，有效日志记录能显著提升 Hibernate 应用的性能和稳定性。
土木林森
38 0

云存储

热门文章

最新文章

  • 1
    5分钟搭建网站实时分析：Grafana+日志服务实战
  • 2
    如何打造千万级Feed流系统
  • 3
    OSS PostObject错误及排查
  • 4
    使用阿里云极速型NAS构建高可用的GitLab
  • 5
    使用日志服务LogHub替换Kafka
  • 6
    号外号外~~OSS监控服务上线啦！！
  • 7
    如何使用OSS RTMP功能直播/鉴黄？
  • 8
    【OSS全球加速】如何利用CNAME自定义加速区域
  • 9
    Feed流系统设计-总纲
  • 10
    数据中台之结构化大数据存储设计
  • 1
    【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程（包含OSS工具类优化、自定义阿里云OSS服务starter）
    25
  • 2
    Java 枚举(enum)详解
    10
  • 3
    HTML5 Geolocation（地理定位）优化到最高精度
    21
  • 4
    NAS部署Alist、Nextcloud、File Browser，贝锐花生壳实现远程访问
    22
  • 5
    【云故事探索】NO.9：大洋彼岸的智能工具：劳动力管理，盖雅搞得定
    64
  • 6
    实现NAS远程下载，Docker部署qBittorrent、Transmission、贝锐花生壳
    123
  • 7
    oss数据同步maxcompute报错
    82
  • 8
    搭建Jellyfin、Plex、Emby媒体服务，贝锐花生壳轻松内网穿透远程访问
    59
  • 9
    解决在Mac上离线存储Disney Plus等流媒体内容
    46
  • 10
    java的继承详解
    24

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • JSON 自学手册图文教程

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 日志服务之使用Nginx模式采集日志
  • 基于工具的数据探查
  • 揭秘如何通过日志服务实现个人敏感信息保护
    • 下一篇
    无影云桌面