开发者社区> 问答> 正文

什么是实时日志处理?

什么是实时日志处理?

展开
收起
6rmarpmlfunbi 2021-03-10 16:38:39 1074 0
2 条回答
写回答
取消 提交回答
  • 基于 Blink 台完成,Blink 是流式实时计算平台,主要是做日志清洗以及把日志转成规范格式日志。

    2021-03-14 22:24:26
    赞同 展开评论 打赏
  • 下一站是幸福

    首先,这种模式可以让每个数据集都能为多订阅者所用。每个流处理过程的输入对任何需要的处理器都可用;同时每个输出也都对任何需要的都可用。这一点不仅对生产数据流很好用,而且也在复杂的数据处理管道里调试和监控阶段很有帮助。能快速的进入一个输出流并检查它的有效性,同时计算一些监控的统计数据,或者仅仅只是看看数据长什么样,这些都使得开发变的非常有可追踪性。

    其次,这样使用日志能确保每个数据消费者处理过程中顺序可以被保留。某些事件数据可能被按时间戳松散地排序了,但是不是每种事件数据都这样。考虑从来自数据库的一个更新流,我们可能有一系列的流处理任务来处理这些数据并准备为搜索索引来做索引。如果对同一个记录同时做两次更新,那么我们最后可能在索引的最终结果出错。

    2021-03-14 22:49:35
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
日志数据采集与分析对接 立即下载
实时即未来 立即下载
“无埋点”数据采集实践之路 立即下载