阿里泛日志设计与实践问题之SLS Scan的语法该如何定义

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 阿里泛日志设计与实践问题之SLS Scan的语法该如何定义

问题一:SLS Scan为什么选择基于event_time模型存储?


SLS Scan为什么选择基于event_time模型存储?


参考回答:

SLS Scan选择基于event_time模型存储,是因为在搜索、分析场景中按业务时间处理是天然的需求。特别是在日志到达服务端迟到的场景下,通过receive_time模型获取完整结果会引入更大的代价。SLS Scan通过索引下推、协程化IO、分页处理等技术,使用户在event_time模型下享受到便利性的同时,也在性能表现上取得平衡。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655447



问题二:SLS Scan的语法是如何定义的?


SLS Scan的语法是如何定义的?


参考回答:

SLS Scan的语法定义为两段式:

{Index Query} | {Scan Query: where <bool_expression>},

其中管道符后是SQL语法中的where子句,用于定义扫描查询的条件。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655448



问题三:SLS Scan的三段式工作机制是什么?


SLS Scan的三段式工作机制是什么?


参考回答:

SLS Scan设计为三段式工作机制,包括:

L1按时间做过滤,L2按业务字段做过滤,L3在索引命中的结果集上做硬扫描过滤。

L1:按时间做过滤

时间是天然的日志主键,例如存储周期 30 天 100 TB 的数据,查询时间窗口选择为最近 6 小时,则数据量缩减到 1 TB。且时间过滤只需要根据索引(时间字段引入的膨胀比低到可忽略)、meta skip 就可以快速完成。

L2:按业务字段做过滤

这里所说的业务字段可理解为 Loki 的 Label 概念,但更为灵活,可以在日志到达 SLS 之后再自由选择。一般是选择可缩小下一步搜索范围或是被高频访问的字段,例如 K8s 日志可以将 namespace、image、node hostname、log path 设置索引。能匹配业务查询需求的字段索引,将大大地降低需要硬扫描的数据量,降低扫描费用和响应延迟。

L3:硬扫描做过滤

在索引命中的结果集上做最后的硬计算,SLS Scan 用 C++ 实现避免性能表现在数据规模上涨后衰减(Loki 受 GC 影响),部分高频算子做向量化加速。另外,SLS Scan 使用一个大的计算池(几百台 x86 多核服务器)来爆发算力,计算的并发度按照 Logstore(日志库)的 Shard(存储分片)数水平扩展。

这种机制通过逐步缩小搜索范围,提高查询效率和响应速度。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655449



问题四:SLS Scan在UI上有哪些新特性?


SLS Scan在UI上有哪些新特性?


参考回答:

SLS Scan在UI上的新特性包括Scan模式开关、Scan翻页与快进、以及Scan查询结果页。这些特性提供了更加便捷和直观的日志查询体验,支持用户高效地进行日志搜索和分析。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655450



问题五:SLS Scan的搜索能力相较于经典搜索语句有哪些扩展?


SLS Scan的搜索能力相较于经典搜索语句有哪些扩展?


参考回答:

SLS Scan的搜索能力相较于经典搜索语句扩展了JSON字段提取、字符串函数和正则函数、模糊匹配、类型转换等多种算子支持。这些扩展功能使得Scan模式能够应对更加复杂和多样化的日志查询场景。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655451

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
678 20
|
10天前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
115 15
|
5月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
5月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
632 54
|
6月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
7月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
556 13
|
7月前
|
缓存 Java 编译器
|
7月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
132 1
|
7月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
860 0

热门文章

最新文章