暂无个人介绍
为了能够更灵活的挖掘日志数据背后的价值,SLS提出了一种不需要事先建立索引就能对数据进行分析的模式。本文对SLS Schema-on-Read分析的提出背景、设计思路、实现过程、使用方式、适用场景进行了全面的介绍。
本文是12月4号在《DataFunTalk技术交流会:阿里云实时查询分析专场》分享的议题《面向异构数据的Schema-on-Read分析技术与实践》的文字版记录。一、背景介绍数字化转型浪潮中,物理世界到数字世界的映射带来了各种各样结构的数据。第一种是完全无结构的数据,完全没有任何规律,典型的如syslog这种记录系统事件的日志;第二种是半结构化数据,有局部的结构,但是不同的行的字段的数目是不确定的
JSON是一种轻量级的数据交换格式,格式简单清晰,易于理解且便于处理,因此也常常作为日志数据的一种内容格式。本文主要介绍下,如何基于SLS强大的查询分析能力,对JSON格式的日志数据进行分析和处理。