开发者学堂课程【阿里云日志服务使用教程:与实时消费对接】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/425/detail/5339
与实时消费对接
内容介绍:
一.实时消费
二.实时消费:其他系统
一.实时消费:
在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志,两者区别见这里)。
对于一个 shard 中日志,消费过程如下:
1.根据时间、Begin、End 等条件获得游标。
2.通过游标、步长参数读取日志,同时返回下一个位置游标。
3.不断移动游标进行日志消费。
除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费:
·使用 Spark Client 消费日志:参考 E-MapReduce 实现的 Spark Streaming Clinent
·使用 Storm Spout 消费日志:日志服务提供一个 Loghub Storm Spout 来完成 storm 和 loghub 对接
·使用 LogHub Consumer Library 矛费日志 Loghub ConsumerLbrary 是对 LogHub 消费者提供的高级模式,提供了一个轻量级计算框架,解决多个消费者同时消费 logstore 时自动分配 shard 以及保序的问题,更多参考。
·使用 SDK 消费日志:日志服务提供多种语言(Java 和 Python)的 SDK,且这些语言的 SDK 都支持日志消费接口。关于 SDK 的更多信息请参考日志服务 SDK。
·访问日志统计镜像:对常用日志进行实时分析 Docker 镜像,免费使用
二、实时消费:其他系统
·使用 CloudMonltor 云监控消费:监控场景
·使用 ARMS 消费:业务实时监控场景
·使用 StreamCompute 消费日志:自定义监控场景
·使用 E-MapReduce 消费日志:参见 Storm,Spark Streaming