开发者社区> rocaltair> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

如何在函数计算中使用结构化的用户日志

简介: 目前函数计算默认会将用户的标准输出写入到用户指定的 logstore ,如果使用了 `logger.log()` `console.log()` 这类函数还会带上时间戳及requestID。 通常情况下,对于普通用户来说这已经可以做一些问题调查和调试了。 但在很多情况下,我们可能需要做自定义的特定字段的查询,例如比较数字大小,比较字符串长度,做柱状图、饼图,曲线图等等。本文会介绍如何在函数
+关注继续查看

目前函数计算默认会将用户的标准输出写入到用户指定的 logstore ,如果使用了 logger.log() console.log() 这类函数还会带上时间戳及requestID。
通常情况下,对于普通用户来说这已经可以做一些问题调查和调试了。

但在很多情况下,我们可能需要做自定义的特定字段的查询,例如比较数字大小,比较字符串长度,做柱状图、饼图,曲线图等等。本文会介绍如何在函数计算中使用阿里云日志服务创建 json 格式的日志来做结构化的日志输出和查询。

创建 logStore 并为 service 设置日志

本文假定您已经掌握了函数计算控制台的创建函数、调用函数等基本功能。

我们可以参考这篇文章,先开通日志服务,并为您的 service 增加日志记录。

用户函数如何记录日志

特别注意的是:我们需要将 json 格式的整个对象序列化为一行,并输出到标准输出。

在 python 中,我们可以使用 print 或者 sys.stdout.write,值得注意的是 sys.stdout.write 最后的换行符 \n 需要自己加上,否则上下文会串行导致解析失败。

我们先使用 python2.7 创建函数,复制下面的代码,粘贴到编辑框保存。

# -*- coding: utf-8 -*-
import json

def handler(event, context):
    print "hello function compute"
    print '{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}'
    print '{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}'
    print '{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}'
    print json.dumps({"msg":"test message", "requestID": context.request_id})
    return 'hello world'

可以看到,我们的5个 print 中有3个都是标准的 json 字符串。

其中还有一个是我们使用json.dumps 序列化的 json 字符串。

建议在后续的实际项目中使用 json.dumps 来做 json 字符串的序列化保证代码的正确性,避免使用 string format 来做序列化。

对于nodejs的用户,可以使用下面的代码

module.exports.handler = function(event, context, callback) { 
    process.stdout.write('hello function compute\n');
    process.stdout.write('{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}\n');
    process.stdout.write('{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}\n');
    process.stdout.write('{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}\n');
    process.stdout.write(JSON.stringify({"msg":"test message", "requestID": context.requestID }) + '\n');
    callback(null, 'hello world'); 
};

注意的是,nodejs中,我们不能使用 console.log() 来做输出,而是使用process.stdout.write(),且需要加上最后的换行符。

配置日志索引

配置好函数后,我们来到对应的log store。

  • 点开查询分析属性>设置,如图:

setting.png

  • 如图,分别为各个字段创建索引

    • 为 message 创建 json 类型的索引
    • 为嵌套 json 类型 opts.hobby 创建 text 类型的索引

index_setting.png

  • 确认保存后我们可以尝试调用函数

结构化的日志查询和分析

函数调用成功后,我们使用日志查询,预期可以看到如下结果:

all_logs.png

关于如何使用日志服务的查询语言,可以详细参考[](https://help.aliyun.com/document_detail/29060.html)

指定requestID 查询

message.requestID: 7ec6a4bc-86fb-8dd9-7e1e-929a08316875

query_3.png

组合条件查询

message.age > 20 and message.sex = "male"

query_1.png

嵌套查询

message.opts.hobby = "basketball"

query_2.png

结合SQL查询分析

例如在上面的日志中,我们查询分析 message.age < 20message.age >= 20 的占比饼图

详细语法可参考实时分析简介

message.age >= 0 | SELECT case when "message.age" < 20 then '<20' else '>=20' end as age, count(1) group by age

pie_chart.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
C#编程-96:索引器的使用
C#编程-96:索引器的使用
51 0
实时计算轻松上手,阿里云DataWorks Stream Studio正式发布
Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。
2464 0
Confluence 6 log4j 日志级别
日志级别 DEBUG - 被设计为用来获得最多的信息和事件,在对应用程序进行调试的时候,这个日志级别通常能够提供最多的有效信息(查看应用程序怎么了) INFO - 有关系统正常运行-计划任务运行,服务器开始和结...
821 0
使用Log4j日志处理
Springboot日志默认使用的是logback,本文将介绍将springboot项目日志修改为log4j。 首先要将默认的日志依赖排除,然后引用log4j,pom文件代码如下: 4.
1169 0
使用新版Android Studio检测内存泄露和性能
内存泄露,是Android开发者最头疼的事。可能一处小小的内存泄露,都可能是毁于千里之堤的蚁穴。 怎么才能检测内存泄露呢?网上教程非常多,不过很多都是使用Eclipse检测的, 其实1.3版本以后的Android Studio 检测内存非常方便, 如果结合上MAT工具,LeakCanary插件,一切就变得so easy了。 熟悉Android Studio界面 工欲
1340 0
WPF中使用文件浏览对话框的几种方式
原文:WPF中使用文件浏览对话框的几种方式 WPF本身并没有为我们提供文件浏览的控件, 也不能直接使用Forms中的控件,而文件浏览对话框又是我们最常用的控件之一. 下面是我实现的方式 方式1: 使用win32控件OpenFileDialog ? 1 2 3 4 5 6 7 Microsoft.
1019 0
常用的存储过程-清除日志 不管有多少个G也可清除
来源于网上收集,整理使用。   SQL2005 1个多G的日志,有时候清不掉。所以找了这段代码。   有时候清理日志未清理成1M 请多执行几遍。一般清况下执行一次就可以的。 我碰到过要执行两遍的。
725 0
在vim中使用bc进行算术计算
今天同事想导入一个文本文件进入execl进行算术运算,我正好看了一下,好像使用bc更快一些。使用vim编辑好文件,然后执行cat foo | bc ,就可以得到结果。
738 0
+关注
rocaltair
阿里云函数计算专家,擅长网络与数据通信领域。
8
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载