日常工作中,你对于日志数据都是如何利用的?

简介: 近期阿里云宣布日志服务 SLS 内核迎来全新升级(https://developer.aliyun.com/topic/sls_pay_by_ingested_data1?spm=a2c6h.13066369.question.3.7f77533dUZ1xiM),通过运维领域模型加持,全链路提升智能分析能力,以更稳定、更智能、更高效、更普惠的平台全方面帮助企业加速拥抱云原生和AI;目前我公司日志服务的使用场景,以及公司自研的日志系统。

阿里云日志SLS的功能:

同城冗余高可用存储,提供云上同城容灾服务能力;

  • 提供机房级容灾能力:
    当服务终端或灾难导致机房不可用时,提供强一致性的服务能力,可满足关键业务系统对于 RPO=0 的强需求。
  • 更高的SLA可用性指标:
    SLS “同城区域冗余”存储能够提供99.95%的可用性SLA指标,相比于“本地冗余存储”99.9% SLA 指标,具有更高的可用性证。
  • 一键开通:
    SLS“同城区域冗余”能非常方便构建云上同城容灾服务能力。采用多副本机制自动将用户数据分散存放在同城相距数十公里3个不同可用区内。

运维领域基础模型发布

  • 支持Trace请求的高延时分析能力:
    
支持OT协议的Trace数据的高延时诊断。
  • 支持指标的异常检测:
    
可准确识别时序指标的形态,辅助可以做好更加智能的巡检。
  • 文本的分词标注:
    
针对日志场景,提供丰富的LogNER的能力,辅助抽取带有语义信息的日志模板。
  • 支持标注能力:
    
用户可通过平台的标注能力,从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。

高性能查询分析引擎新升级

  • 查询功能优化与性能提升:
    查询支持全局纳秒有序,每秒查询百亿~千亿行日志。
  • 分析性能提升:
    分析性能提高100~300%,每秒处理数十亿行日志。
  • 分析规模提升:
    单用户最大并发提升20倍,内存使用上限提升10倍,支持更大规模、更复杂查询。

我公司的日志服务:

1、如有一个运维领域基础模型,你希望这个模型支持哪些场景的能力?

高性能查询分析引擎相关的运用,由于目前是面向旅游方面的订单日志,日志量很大,使用ES进行保存的相关日志,并且还需要定期进行删除日志,目前只保留了2个月内的日志记录。随着国内旅游业的复苏,目前日志查询也越来越慢了,如果可以支持对于热门景点订单的日志进行特殊的分析、查询的话,可以解决目前公司内存在的问题。

自动化分析检索模型的运用,如果存在特别的日志,进行报警的处理,比如直接钉钉提醒,邮件、短信提醒等功能;

全流程分析链路的功能,由于旅游订单的流程比较长,在遇到问题的时候,可能进行全链路的日志分析处理,这样可以清晰的分析出来问题的原因,以及对应哪个环节出现的问题,方便问题的排查与定位;

2、你有什么场景的日志数据,需要保存3个月以上?

订单的支付日志,财务系统的日志需要保存三个月以上的,因为这些数据的周期比较长,在遇到问题的时候,需要进行订单的日志分析。比如说订单变更操作、支付操作、退款操作、财务结算操作等等;

3、AI是否是运维人以后必须掌握的技能?

是的,随着技术的进步,AI会逐渐进入各大行业,首当其冲的应该是技术行业,因为很多的时候AI可以代替普通的程序员,AI也能代替普通的运维人员,并且比运维人员更加的智能,比如说本次SLS日志一样,很多功能都是非常实用的,也是一些运维人员需要掌握的技能(机房容灾能力,如果一个服务器挂了,可以进行容灾的处理,不至于所有的机房都会受到影响、智能分析的能力,如果出现404了或者一些cpu、内存的原因导致的错误,可以快速分析出来,已经定制好解决方案进行解决)。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
6月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1530 88
|
6月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
737 45
|
10月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
7月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
931 1
|
11月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
736 118
|
7月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
657 0
|
7月前
|
数据采集 运维 监控
|
9月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
1041 4
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
414 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件