开发者社区> 问答> 正文

SLS Scan的三段式工作机制是什么?

SLS Scan的三段式工作机制是什么?

展开
收起
花开富贵111 2024-06-19 22:55:25 12 0
2 条回答
写回答
取消 提交回答
  • image.png最后一段就是结果输出了
    工作流程回答不易请采纳

    2024-06-20 14:28:22
    赞同 1 展开评论 打赏
  • SLS Scan设计为三段式工作机制,包括:
    L1按时间做过滤,L2按业务字段做过滤,L3在索引命中的结果集上做硬扫描过滤。
    L1:按时间做过滤
    时间是天然的日志主键,例如存储周期 30 天 100 TB 的数据,查询时间窗口选择为最近 6 小时,则数据量缩减到 1 TB。且时间过滤只需要根据索引(时间字段引入的膨胀比低到可忽略)、meta skip 就可以快速完成。
    L2:按业务字段做过滤
    这里所说的业务字段可理解为 Loki 的 Label 概念,但更为灵活,可以在日志到达 SLS 之后再自由选择。一般是选择可缩小下一步搜索范围或是被高频访问的字段,例如 K8s 日志可以将 namespace、image、node hostname、log path 设置索引。能匹配业务查询需求的字段索引,将大大地降低需要硬扫描的数据量,降低扫描费用和响应延迟。
    L3:硬扫描做过滤
    在索引命中的结果集上做最后的硬计算,SLS Scan 用 C++ 实现避免性能表现在数据规模上涨后衰减(Loki 受 GC 影响),部分高频算子做向量化加速。另外,SLS Scan 使用一个大的计算池(几百台 x86 多核服务器)来爆发算力,计算的并发度按照 Logstore(日志库)的 Shard(存储分片)数水平扩展。

    这种机制通过逐步缩小搜索范围,提高查询效率和响应速度。

    2024-06-19 23:35:30
    赞同 1 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载