开发者社区> 问答> 正文

实时消费有什么意义?


数据收集至日志服务LogHub后,有三种方法可以消费日志:

方式场景实时性存储时间
实时消费(LogHub)流计算、实时计算等实时(<10ms)365天(如需更长时间请联系我们)
查询分析(Search/Analytics)在线查询与分析实时(99.99% 1秒内)365天(如需更长时间请联系我们)
投递存储(LogShipper)适合全量存储日志,进行离线分析5~30分钟依赖于存储系统


实时消费



消费过程


在写入日志后,最基本功能就是如何消费日志。消费日志与查询日志都意味着“读取”日志,两者区别见 消费日志与查询日志的区别。对于一个Shard 中日志,消费过程如下:
  1. 根据时间、Begin、End等条件获得游标。
  2. 通过游标、步长参数读取日志,同时返回下一个位置游标。
  3. 不断移动游标进行日志消费。


消费方式


除最基本的API外,日志服务提供SDK、Storm Spout、Spark Client、Web Console等方式进行日志消费:

查询分析


参见 实时查询分析简介
  • 使用日志服务控制台查询日志:参见 查询日志
  • 使用日志服务 SDK/API 查询日志:日志服务提供 REST 风格的 API,基于 HTTP 协议实现。日志服务的 API 同样提供全功能的日志查询接口。具体参考请见 日志服务 API


投递存储



其他


安全日志服务: 日志服务与安全云产品对接,可通过ISV消费云产品日志。

展开
收起
轩墨 2017-10-20 16:30:37 2604 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
实时即未来 立即下载
万亿级数据洪峰下的消息引擎——Apache RocketMQ 立即下载
万亿级数据洪峰下的消息引擎-Apache RocketMQ 立即下载