SLS数据加工对Json数据解析与更新

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文档介绍对于包含Json格式字段的日志如何进行解析。## 场景一:Json对象展开与提取日志中包含Json对象,通过e_json进行字段展开与对象提取**示例1: Json一层展开*** 原始日志```data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}```* 加工规则```pythone_json("data", de

本文档介绍对于包含Json格式字段的日志如何进行解析。

场景一:Json对象展开与提取

日志中包含Json对象,通过e_json进行字段展开与对象提取

示例1: Json一层展开

  • 原始日志
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
  • 加工规则
e_json("data", depth=1)
  • 加工结果
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
k1: v1
k2: {"k3": "v3", "k4": "v4"}

示例2: Json完全展开

  • 原始日志
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
  • 加工规则
e_json("data")
  • 加工结果
data:{"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
k1:v1
k3:v3
k4:v4

示例3: 指定名称精确提取Json对象

  • 原始日志
data: {
    "foo": {
        "bar": "baz"
    },
    "peoples": [{
        "name": "xh",
        "sex": "girl"
    }, {
        "name": "xm",
        "sex": "boy"
    }]
}
  • 加工规则
e_json("data", jmes="foo", output="foo")
e_json("data", jmes="foo.bar", output="bar")
e_json("data", jmes="peoples[0].name", output="name")
e_json("data", jmes="peoples[*].name", output="names")
  • 加工结果
data:{"foo": {"bar": "baz"}, "peoples": [{"name": "xh", "sex": "girl"}, {"name": "xm", "sex": "boy"}]}
foo:{"bar": "baz"}
bar:baz
name:xh
names:["xh", "xm"]

场景二:获取Json对象值

日志中包含Json对象,通过dct_get提取Json字段值

示例1: Json对象包含目标字段

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("key1", dct_get(v("data"), "k1"))
  • 加工结果
data:{"k1": "v1", "k2": "v2"}
key1:v1

示例2: Json对象不包含目标字段,设置默认值

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("key3", dct_get(v("data"), "k3", default="default"))
  • 加工结果
data:{"k1": "v1", "k2": "v2"}
key3:default

场景三:更新Json字段

日志中包含Json对象,通过dct_update更新Json对象字段值
示例1: 修改Json对象字段值

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("data", dct_update(v("data"), {"k1": "new_k1"}))
  • 加工结果
data:{"k1": "new_k1", "k2": "v2"}

示例2: 为Json对象增加字段

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("data", dct_update(v("data"), {"k3": "k3"}))
  • 加工结果
data:{"k1": "v1", "k2": "v2", "k3": "k3"}

场景四:删除Json字段

日志中包含Json对象,通过dct_delete删除Json对象字段

示例1:

  • 原始日志
data: {"k1":"v1","k2":"v2", "k3": "v3"}
  • 加工规则
e_set("data", dct_delete(v("data"), "k1", "k2"))
  • 加工结果
data:{"k3": "v3"}

场景五:将值解析为Json对象

示例1: 将字符串解析为Json对象

  • 原始日志
data: "pre{ \"k1\": \"v1\", \"k2\": \"v2\"}"
  • 加工规则
e_set("json_object", json_parse(op_slice(v("data"), 3, 28)))
  • 加工结果
data:pre{ "k1": "v1", "k2": "v2"}
json_object:{"k1": "v1", "k2": "v2"}
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
66 8
|
1天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
14天前
|
JSON JavaScript 前端开发
一次采集JSON解析错误的修复
两段采集来的JSON格式数据存在格式问题,直接使用PHP的`json_decode`会报错。解决思路包括:1) 手动格式化并逐行排查错误;2) 使用PHP-V8JS扩展在JavaScript环境中解析。具体方案一是通过正则表达式和字符串替换修复格式,方案二是利用V8Js引擎执行JS代码并返回JSON字符串,最终实现正确解析。 简介: 两段采集的JSON数据因掺杂JavaScript代码导致PHP解析失败。解决方案包括手动格式化修复和使用PHP-V8JS扩展在JavaScript环境中解析,确保JSON数据能被正确处理。
|
2月前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
216 49
|
1月前
|
XML JSON JavaScript
HttpGet 请求的响应处理:获取和解析数据
HttpGet 请求的响应处理:获取和解析数据
|
2月前
|
JSON API 数据安全/隐私保护
拍立淘按图搜索API接口返回数据的JSON格式示例
拍立淘按图搜索API接口允许用户通过上传图片来搜索相似的商品,该接口返回的通常是一个JSON格式的响应,其中包含了与上传图片相似的商品信息。以下是一个基于淘宝平台的拍立淘按图搜索API接口返回数据的JSON格式示例,同时提供对其关键字段的解释
|
2月前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
2月前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
137 0
|
3月前
|
数据采集 JSON 数据处理
抓取和分析JSON数据:使用Python构建数据处理管道
在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
抓取和分析JSON数据:使用Python构建数据处理管道
|
2月前
|
JSON 缓存 前端开发
PHP如何高效地处理JSON数据:从编码到解码
在现代Web开发中,JSON已成为数据交换的标准格式。本文探讨了PHP如何高效处理JSON数据,包括编码和解码的过程。通过简化数据结构、使用优化选项、缓存机制及合理设置解码参数等方法,可以显著提升JSON处理的性能,确保系统快速稳定运行。

推荐镜像

更多