背景
Kafka 作为使用最广泛的消息队列之一,被非常普遍的应用于日志场景。通过机器上的采集客户端采集日志或者使用Producer直接写入,再供下游的数据处理系统如Spark,Flink等进行消费,是非常常见的大数据架构。
阿里云日志服务底层存储是一个类似Kafka的数据系统,作为一个消息队列可以100%覆盖Kafka的功能。在此之上,作为阿里云上被广泛使用的日志分析产品,日志服务还提供了支持大规模数据集的实时查询分析能力,非常丰富的数据可视化报表,实时告警等功能。对于已经采集到Kafka中的数据,支持实时同步到日志服务中进行分析。
如何配置
在开始之前需要先开通日志服务,并且创建好用于保存数据的Project 和Logstore。关于Project 和Logstore的介绍可以参考官方文档 :https://help.aliyun.com/document_detail/28961.html。
1 功能入口
2 选择Project与Logstore
在开始同步之前,需要提前创建好用于存储数据的Project 和Logstore,如果需要对数据进行查询还需要提前对数据配置好索引。
3 输入Kafka 配置
4 调度方式
日志服务通过Kafka 消费组流式消费数据,根据数据量自动水平扩展消费者个数。后台根据执行间隔定时调度同步任务,当同步任务从Kafka中超过5分钟没有消费到数据时当次任务结束,等待下一次调度。
查询日志
日志从Kafka 同步到日志服务后,可以在控制台查询分析。
更多资料
日志服务官方文档: https://help.aliyun.com/product/28958.html?spm=a2c4g.11186623.6.540.4af0bda9n7QANH
日志服务查询语法简介:https://help.aliyun.com/document_detail/43772.html