与实时消费对接 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习与实时消费对接

开发者学堂课程【阿里云日志服务使用教程与实时消费对接学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/425/detail/5339


与实时消费对接

内容介绍:

一.实时消费

二.实时消费:其他系统

一.实时消费:

在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志,两者区别见这里)。

对于一个 shard 中日志,消费过程如下:

1.根据时间、Begin、End 等条件获得游标。

2.通过游标、步长参数读取日志,同时返回下一个位置游标。

3.不断移动游标进行日志消费。

除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费:

·使用 Spark Client 消费日志:参考 E-MapReduce 实现的 Spark Streaming Clinent

·使用 Storm Spout 消费日志:日志服务提供一个 Loghub Storm Spout 来完成 storm 和 loghub 对接

·使用 LogHub Consumer Library 矛费日志 Loghub ConsumerLbrary 是对 LogHub 消费者提供的高级模式,提供了一个轻量级计算框架,解决多个消费者同时消费 logstore 时自动分配 shard 以及保序的问题,更多参考。

·使用 SDK 消费日志:日志服务提供多种语言(Java 和 Python)的 SDK,且这些语言的 SDK 都支持日志消费接口。关于 SDK 的更多信息请参考日志服务 SDK。

·访问日志统计镜像:对常用日志进行实时分析 Docker 镜像,免费使用

 

二、实时消费:其他系统

·使用 CloudMonltor 云监控消费:监控场景

·使用 ARMS 消费:业务实时监控场景

·使用 StreamCompute 消费日志:自定义监控场景

·使用 E-MapReduce 消费日志:参见 Storm,Spark Streaming

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
消息中间件 运维 监控
ApsaraMQ Copilot for RocketMQ:消息数据集成链路的健康管家
阿里云消息队列 ApsaraMQ 始终围绕“高弹性低成本、更稳定更安全、智能化免运维”三大核心方向进行演进和拓展。在智能化免运维方面,通过 ApsaraMQ Copilot,为企业提供消息数据集成链路的健康管家,让消息服务走进智能化免运维的新时代。
71775 65
|
3月前
|
消息中间件 安全 Kafka
【极数系列】Flink集成KafkaSource & 实时消费数据(10)
【极数系列】Flink集成KafkaSource & 实时消费数据(10)
115 1
|
3月前
|
监控 架构师 Java
得物从零构建亿级消息推送系统的送达稳定性监控体系技术实践
本文分享的是得物针对现有的消息推送系统的消息送达耗时、实时性、稳定性等方面问题,从零到一构建完整的消息推送质量监控体系和机制的技术实践。
98 1
|
11月前
|
消息中间件 存储 SQL
关于 TDengine 3.0 数据订阅,你需要知道这些
TDengine 3.0 对数据订阅功能又进行了优化升级,本文将详细介绍其语法规则,方便开发者及企业使用。
289 0
|
存储 JavaScript 前端开发
TDengine极简实战:从采集到入库,从前端到后端,体验物联网设备数据流转
TDengine极简实战:从采集到入库,从前端到后端,体验物联网设备数据流转
1241 1
|
消息中间件 存储 Prometheus
消息队列 RocketMQ 遇上可观测:业务核心链路可视化
本篇文章主要介绍 RocketMQ 的可观测性工具在线上生产环境的最佳实践。RocketMQ的可观测性能力领先业界同类产品,RocketMQ 的 Dashboard 和消息轨迹等功能为业务核心链路保驾护航,有效应对线上大规模生产使用过程中遇到的容量规划、消息收发问题排查以及自定义监控等场景。
324 0
消息队列 RocketMQ  遇上可观测:业务核心链路可视化
|
机器学习/深度学习 人工智能 分布式计算
离线实时一体化新能力解读| 学习笔记
快速学习离线实时一体化新能力解读
822 0
离线实时一体化新能力解读| 学习笔记
|
消息中间件 分布式计算 Ubuntu
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
769 0
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
EMQ
|
消息中间件 存储 安全
千万级车联网 MQTT 消息平台架构设计
本文我们将讨论车联网场景中的 MQTT 消息采集与传递,以及如何构建一个千万级车联网 MQTT 消息平台。
EMQ
713 0
千万级车联网 MQTT 消息平台架构设计
|
消息中间件 存储 Prometheus
消息队列 RocketMQ 遇上可观测:业务核心链路可视化
本篇文章主要介绍 RocketMQ 的可观测性工具在线上生产环境的最佳实践。RocketMQ的可观测性能力领先业界同类产品,RocketMQ 的 Dashboard 和消息轨迹等功能为业务核心链路保驾护航,有效应对线上大规模生产使用过程中遇到的容量规划、消息收发问题排查以及自定义监控等场景。
消息队列 RocketMQ 遇上可观测:业务核心链路可视化