数据采集
日志服务提供50多种数据接入方案。具体说明如下:
支持采集服务器与应用相关的日志、时序数据和链路数据。
支持采集物联网设备日志。
支持采集阿里云产品日志。
支持采集移动端数据。
支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。
支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。
查询与分析
日志服务支持实时查询与分析数据。具体说明如下:
支持精确查询、模糊查询、全文查询、字段查询。
支持上下文查询、日志聚类、LiveTail、重建索引等功能。
支持标准的SQL 92语法。
提供SQL独享实例。
数据加工
日志服务提供数据加工功能,用于数据的规整、富化、流转、脱敏和过滤。具体说明如下:
数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。
数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
数据流转:通过全球加速功能将海外地域的日志传输到中心地域,实现全球日志集中化管理。
数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
数据过滤:过滤出关键服务的日志,用于重点分析。
消费与投递
日志服务提供消费与投递功能,支持通过SDK、API实时消费数据;支持通过控制台将数据实时投递至OSS、MaxCompute等阿里云产品中。具体说明如下:
支持通过Splunk、QRadar、Logstash、Flume等第三方软件消费数据。
支持通过Java、Python、GO等语言消费数据。
支持通过函数计算、实时计算、云监控等阿里云产品消费数据。
支持通过Flink、Spark、Storm等流式计算平台消费数据。
支持将数据投递到OSS、MaxCompute、AnalyticDB、TableStore等阿里云产品。