如何在函数计算中使用结构化的用户日志

简介: 本文会介绍如何在函数计算中使用阿里云日志服务创建 json 格式的日志来做结构化的日志输出和查询。

目前函数计算默认会将用户的标准输出写入到用户指定的 logstore ,如果使用了 logger.log() console.log() 这类函数还会带上时间戳及requestID。
通常情况下,对于普通用户来说这已经可以做一些问题调查和调试了。

但在很多情况下,我们可能需要做自定义的特定字段的查询,例如比较数字大小,比较字符串长度,做柱状图、饼图,曲线图等等。本文会介绍如何在函数计算中使用阿里云日志服务创建 json 格式的日志来做结构化的日志输出和查询。

创建 logStore 并为 service 设置日志

本文假定您已经掌握了函数计算控制台的创建函数、调用函数等基本功能。

我们可以参考这篇文章,先开通日志服务,并为您的 service 增加日志记录。

用户函数如何记录日志

特别注意的是:我们需要将 json 格式的整个对象序列化为一行,并输出到标准输出。

在 python 中,我们可以使用 print 或者 sys.stdout.write,值得注意的是 sys.stdout.write 最后的换行符 \n 需要自己加上,否则上下文会串行导致解析失败。如果使用 logging 模块,则需要注意日志的format格式,必须每行输出是一个标准的 json 文本。

我们先使用 python2.7 创建函数,复制下面的代码,粘贴到编辑框保存。

# -*- coding: utf-8 -*-
import json

def handler(event, context):
    print "hello function compute"
    print '{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}'
    print '{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}'
    print '{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}'
    print json.dumps({"msg":"test message", "requestID": context.request_id})
    return 'hello world'

可以看到,我们的5个 print 中有3个都是标准的 json 字符串。

其中还有一个是我们使用json.dumps 序列化的 json 字符串。

建议在后续的实际项目中使用 json.dumps 来做 json 字符串的序列化保证代码的正确性,避免使用 string format 来做序列化。

对于nodejs的用户,可以使用下面的代码

module.exports.handler = function(event, context, callback) { 
    process.stdout.write('hello function compute\n');
    process.stdout.write('{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}\n');
    process.stdout.write('{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}\n');
    process.stdout.write('{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}\n');
    process.stdout.write(JSON.stringify({"msg":"test message", "requestID": context.requestID }) + '\n');
    callback(null, 'hello world'); 
};

注意的是,nodejs 中,我们不能使用 console.log() 来做直接输出,需要调整输出 format 为不带换行符的 json 文本,这里使用process.stdout.write() 做为示例,需要加上最后的换行符。

配置日志索引

配置好函数后,我们来到对应的log store。

  • 点开查询分析属性>设置,如图:

setting.png

  • 如图,分别为各个字段创建索引

    • 为 message 创建 json 类型的索引
    • 为嵌套 json 类型 opts.hobby 创建 text 类型的索引

index_setting.png

  • 确认保存后我们可以尝试调用函数

结构化的日志查询和分析

函数调用成功后,我们使用日志查询,预期可以看到如下结果:

all_logs.png

关于如何使用日志服务的查询语言,详细可以参考 链接

指定requestID 查询

message.requestID: 7ec6a4bc-86fb-8dd9-7e1e-929a08316875

query_3.png

组合条件查询

message.age > 20 and message.sex = "male"

query_1.png

嵌套查询

message.opts.hobby = "basketball"

query_2.png

结合SQL查询分析

例如在上面的日志中,我们查询分析 message.age < 20message.age >= 20 的占比饼图

详细语法可参考 实时分析简介

message.age >= 0 | SELECT case when "message.age" < 20 then '<20' else '>=20' end as age, count(1) group by age

pie_chart.png

相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC,快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
目录
相关文章
|
监控 Python
logging的基本使用教程
这篇文章提供了Python `logging` 模块的基本使用教程,包括如何配置日志级别和格式、记录不同级别的日志消息,以及如何将日志输出到文件。
|
5月前
|
人工智能 安全 JavaScript
Qoder节省 Credits 的最佳实践
本文介绍如何高效节省AI编程工具(如Qoder、Cursor)的Credits资源。通过新开窗口处理无关任务、按需选择模型、优化代码结构、明确输出需求、及时终止跑偏任务及使用工程化回滚等技巧,有效降低Token消耗,提升开发效率与成本控制。
1936 10
|
11月前
|
存储 Java Apache
Velocityd的使用
Apache Velocity 是一个高效的 Java 模板引擎,主要用于动态文本生成,如网页、邮件或配置文件。其核心概念包括模板(Template)、上下文(Context)和引擎(VelocityEngine)。模板包含静态内容与动态指令,通过上下文传入数据,由引擎解析生成最终输出。Velocity 语法简洁,支持变量、条件判断、循环等逻辑控制,适用于 Web 开发及后端渲染场景。在 Spring Boot 等框架中集成方便,但需注意路径配置、编码设置及兼容性问题。
786 1
|
存储 UED 开发者
14.HarmonyOS弹性表单设计精解:flexGrow与空间分配策略
在现代移动应用开发中,表单是最常见的交互界面之一。一个设计良好的表单不仅要美观,还需要具备良好的自适应能力,能够在不同屏幕尺寸下保持最佳的用户体验。本教程将深入探讨HarmonyOS ArkUI框架中的弹性布局技术,特别是flexGrow属性在表单设计中的应用,帮助开发者创建出既美观又实用的自适应表单界面。
298 4
|
前端开发 JavaScript 开发者
利用代码分割优化前端性能:高级技巧与实践
【10月更文挑战第2天】在现代Web开发中,代码分割是优化前端性能的关键技术,可显著减少页面加载时间。本文详细探讨了代码分割的基本原理及其实现方法,包括自动与手动分割、预加载与预取、动态导入及按需加载CSS等高级技巧,旨在帮助开发者提升Web应用性能,改善用户体验。
|
存储 数据库 Python
Loguru:Python中强大的日志库
Loguru:Python中强大的日志库
1257 2
|
监控 Java API
|
物联网 开发者
NB-LOT 常用 AT 指令介绍 | 学习笔记
快速学习 NB-LOT 常用 AT 指令介绍
NB-LOT 常用 AT 指令介绍 | 学习笔记
|
关系型数据库 MySQL 数据安全/隐私保护

相关产品

  • 函数计算