目前函数计算默认会将用户的标准输出写入到用户指定的 logstore ,如果使用了 logger.log()
console.log()
这类函数还会带上时间戳及requestID。
通常情况下,对于普通用户来说这已经可以做一些问题调查和调试了。
但在很多情况下,我们可能需要做自定义的特定字段的查询,例如比较数字大小,比较字符串长度,做柱状图、饼图,曲线图等等。本文会介绍如何在函数计算中使用阿里云日志服务创建 json 格式的日志来做结构化的日志输出和查询。
创建 logStore 并为 service 设置日志
本文假定您已经掌握了函数计算控制台的创建函数、调用函数等基本功能。
我们可以参考这篇文章,先开通日志服务,并为您的 service 增加日志记录。
用户函数如何记录日志
特别注意的是:我们需要将 json 格式的整个对象序列化为一行,并输出到标准输出。
在 python 中,我们可以使用 print
或者 sys.stdout.write
,值得注意的是 sys.stdout.write
最后的换行符 \n
需要自己加上,否则上下文会串行导致解析失败。如果使用 logging 模块,则需要注意日志的format格式,必须每行输出是一个标准的 json 文本。
我们先使用 python2.7 创建函数,复制下面的代码,粘贴到编辑框保存。
# -*- coding: utf-8 -*-
import json
def handler(event, context):
print "hello function compute"
print '{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}'
print '{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}'
print '{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}'
print json.dumps({"msg":"test message", "requestID": context.request_id})
return 'hello world'
可以看到,我们的5个 print 中有3个都是标准的 json 字符串。
其中还有一个是我们使用json.dumps
序列化的 json 字符串。
建议在后续的实际项目中使用 json.dumps
来做 json 字符串的序列化保证代码的正确性,避免使用 string format 来做序列化。
对于nodejs的用户,可以使用下面的代码
module.exports.handler = function(event, context, callback) {
process.stdout.write('hello function compute\n');
process.stdout.write('{"name":"Amy", "sex":"female", "age":18, "city":"Beijing", "slogen":"function compute is awsome"}\n');
process.stdout.write('{"name":"Alex", "sex":"male", "age":25, "city":"Shanghai", "opts":{"phone":12345678, "hobby":"basketball"}}\n');
process.stdout.write('{"name":"Jack", "sex":"male", "age":35, "city":"Hangzhou", "opts":{"phone":23456789}}\n');
process.stdout.write(JSON.stringify({"msg":"test message", "requestID": context.requestID }) + '\n');
callback(null, 'hello world');
};
注意的是,nodejs 中,我们不能使用 console.log()
来做直接输出,需要调整输出 format 为不带换行符的 json 文本,这里使用process.stdout.write()
做为示例,需要加上最后的换行符。
配置日志索引
配置好函数后,我们来到对应的log store。
- 点开
查询分析属性>设置
,如图:
如图,分别为各个字段创建索引
- 为 message 创建 json 类型的索引
- 为嵌套 json 类型
opts.hobby
创建 text 类型的索引
- 确认保存后我们可以尝试调用函数
结构化的日志查询和分析
函数调用成功后,我们使用日志查询,预期可以看到如下结果:
关于如何使用日志服务的查询语言,详细可以参考 链接。
指定requestID 查询
message.requestID: 7ec6a4bc-86fb-8dd9-7e1e-929a08316875
组合条件查询
message.age > 20 and message.sex = "male"
嵌套查询
message.opts.hobby = "basketball"
结合SQL查询分析
例如在上面的日志中,我们查询分析 message.age < 20
及 message.age >= 20
的占比饼图
详细语法可参考 实时分析简介
message.age >= 0 | SELECT case when "message.age" < 20 then '<20' else '>=20' end as age, count(1) group by age