从Kafka实时同步数据到日志服务指南-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

从Kafka实时同步数据到日志服务指南

简介: 日志服务支持从Kafka 数据源实时同步数据,用户能够在日志服务对数据进行实时查询分析,配置报表和告警等。

背景

Kafka 作为使用最广泛的消息队列之一,被非常普遍的应用于日志场景。通过机器上的采集客户端采集日志或者使用Producer直接写入,再供下游的数据处理系统如Spark,Flink等进行消费,是非常常见的大数据架构。

阿里云日志服务底层存储是一个类似Kafka的数据系统,作为一个消息队列可以100%覆盖Kafka的功能。在此之上,作为阿里云上被广泛使用的日志分析产品,日志服务还提供了支持大规模数据集的实时查询分析能力,非常丰富的数据可视化报表,实时告警等功能。对于已经采集到Kafka中的数据,支持实时同步到日志服务中进行分析。

111.png

如何配置

在开始之前需要先开通日志服务,并且创建好用于保存数据的Project 和Logstore。关于Project 和Logstore的介绍可以参考官方文档 :https://help.aliyun.com/document_detail/28961.html

1 功能入口

222.png

2 选择Project与Logstore

在开始同步之前,需要提前创建好用于存储数据的Project 和Logstore,如果需要对数据进行查询还需要提前对数据配置好索引。

333.png

3 输入Kafka 配置

444.png

4 调度方式

日志服务通过Kafka 消费组流式消费数据,根据数据量自动水平扩展消费者个数。后台根据执行间隔定时调度同步任务,当同步任务从Kafka中超过5分钟没有消费到数据时当次任务结束,等待下一次调度。

555.png

查询日志

日志从Kafka 同步到日志服务后,可以在控制台查询分析。

666.png

更多资料

日志服务官方文档: https://help.aliyun.com/product/28958.html?spm=a2c4g.11186623.6.540.4af0bda9n7QANH
日志服务查询语法简介:https://help.aliyun.com/document_detail/43772.html


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接