与实时消费对接 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习与实时消费对接

开发者学堂课程【阿里云日志服务使用教程与实时消费对接学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/425/detail/5339


与实时消费对接

内容介绍:

一.实时消费

二.实时消费:其他系统

一.实时消费:

在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志,两者区别见这里)。

对于一个 shard 中日志,消费过程如下:

1.根据时间、Begin、End 等条件获得游标。

2.通过游标、步长参数读取日志,同时返回下一个位置游标。

3.不断移动游标进行日志消费。

除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费:

·使用 Spark Client 消费日志:参考 E-MapReduce 实现的 Spark Streaming Clinent

·使用 Storm Spout 消费日志:日志服务提供一个 Loghub Storm Spout 来完成 storm 和 loghub 对接

·使用 LogHub Consumer Library 矛费日志 Loghub ConsumerLbrary 是对 LogHub 消费者提供的高级模式,提供了一个轻量级计算框架,解决多个消费者同时消费 logstore 时自动分配 shard 以及保序的问题,更多参考。

·使用 SDK 消费日志:日志服务提供多种语言(Java 和 Python)的 SDK,且这些语言的 SDK 都支持日志消费接口。关于 SDK 的更多信息请参考日志服务 SDK。

·访问日志统计镜像:对常用日志进行实时分析 Docker 镜像,免费使用

 

二、实时消费:其他系统

·使用 CloudMonltor 云监控消费:监控场景

·使用 ARMS 消费:业务实时监控场景

·使用 StreamCompute 消费日志:自定义监控场景

·使用 E-MapReduce 消费日志:参见 Storm,Spark Streaming

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
10月前
|
消息中间件 SQL 关系型数据库
离线实时消息统计
离线实时消息统计
70 0
|
7月前
|
消息中间件 分布式计算 Kafka
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
|
10月前
|
消息中间件 存储 数据库
深度剖析 RocketMQ 5.0,流存储:流场景的诉求是什么?
本文将从使用的角度出发,来更详细的展示一下流存储的场景,看看它和业务消息的场景有哪些区别。 RocketMQ 5.0 面向流存储的场景,提供了哪些特性。再结合两个数据集成的案例,来帮助大家了解流存储的用法。
3567 2
|
10月前
|
消息中间件 存储 物联网
|
10月前
|
消息中间件 安全 Kafka
【极数系列】Flink集成KafkaSource & 实时消费数据(10)
【极数系列】Flink集成KafkaSource & 实时消费数据(10)
231 1
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Channel的Kafka Channel
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Channel模块是实现数据缓存和传输的核心模块之一。本文将介绍Flume中的Kafka Channel,讲解其数据采集流程。
243 0
|
Java Linux 程序员
Flink实战:消费Wikipedia实时消息
Wikipedia Edit Stream是Flink官网提供的一个经典demo,该应用消费的消息来自维基百科,今天咱们就来一起实战这个demo的开发(比官方demo略有不同)、部署、验证过程
224 0
Flink实战:消费Wikipedia实时消息
|
消息中间件 分布式计算 Ubuntu
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
835 0
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
|
消息中间件 缓存 前端开发
实时数据订阅与分发系统概述
实时数据订阅与分发系统概述
894 0
实时数据订阅与分发系统概述
|
消息中间件 监控 NoSQL
生产实践 | 基于 Flink 的短视频生产消费监控
本文详细介绍了实时监控类指标的数据流转链路以及技术方案,大多数的实时监控类指标都可按照本文中的几种方案实现。
生产实践 | 基于 Flink 的短视频生产消费监控