日常工作中,你对于日志数据都是如何利用的?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 近期阿里云宣布日志服务 SLS 内核迎来全新升级(https://developer.aliyun.com/topic/sls_pay_by_ingested_data1?spm=a2c6h.13066369.question.3.7f77533dUZ1xiM),通过运维领域模型加持,全链路提升智能分析能力,以更稳定、更智能、更高效、更普惠的平台全方面帮助企业加速拥抱云原生和AI;目前我公司日志服务的使用场景,以及公司自研的日志系统。

阿里云日志SLS的功能:

同城冗余高可用存储,提供云上同城容灾服务能力;

  • 提供机房级容灾能力:
    当服务终端或灾难导致机房不可用时,提供强一致性的服务能力,可满足关键业务系统对于 RPO=0 的强需求。
  • 更高的SLA可用性指标:
    SLS “同城区域冗余”存储能够提供99.95%的可用性SLA指标,相比于“本地冗余存储”99.9% SLA 指标,具有更高的可用性证。
  • 一键开通:
    SLS“同城区域冗余”能非常方便构建云上同城容灾服务能力。采用多副本机制自动将用户数据分散存放在同城相距数十公里3个不同可用区内。

运维领域基础模型发布

  • 支持Trace请求的高延时分析能力:
    
支持OT协议的Trace数据的高延时诊断。
  • 支持指标的异常检测:
    
可准确识别时序指标的形态,辅助可以做好更加智能的巡检。
  • 文本的分词标注:
    
针对日志场景,提供丰富的LogNER的能力,辅助抽取带有语义信息的日志模板。
  • 支持标注能力:
    
用户可通过平台的标注能力,从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。

高性能查询分析引擎新升级

  • 查询功能优化与性能提升:
    查询支持全局纳秒有序,每秒查询百亿~千亿行日志。
  • 分析性能提升:
    分析性能提高100~300%,每秒处理数十亿行日志。
  • 分析规模提升:
    单用户最大并发提升20倍,内存使用上限提升10倍,支持更大规模、更复杂查询。

我公司的日志服务:

1、如有一个运维领域基础模型,你希望这个模型支持哪些场景的能力?

高性能查询分析引擎相关的运用,由于目前是面向旅游方面的订单日志,日志量很大,使用ES进行保存的相关日志,并且还需要定期进行删除日志,目前只保留了2个月内的日志记录。随着国内旅游业的复苏,目前日志查询也越来越慢了,如果可以支持对于热门景点订单的日志进行特殊的分析、查询的话,可以解决目前公司内存在的问题。

自动化分析检索模型的运用,如果存在特别的日志,进行报警的处理,比如直接钉钉提醒,邮件、短信提醒等功能;

全流程分析链路的功能,由于旅游订单的流程比较长,在遇到问题的时候,可能进行全链路的日志分析处理,这样可以清晰的分析出来问题的原因,以及对应哪个环节出现的问题,方便问题的排查与定位;

2、你有什么场景的日志数据,需要保存3个月以上?

订单的支付日志,财务系统的日志需要保存三个月以上的,因为这些数据的周期比较长,在遇到问题的时候,需要进行订单的日志分析。比如说订单变更操作、支付操作、退款操作、财务结算操作等等;

3、AI是否是运维人以后必须掌握的技能?

是的,随着技术的进步,AI会逐渐进入各大行业,首当其冲的应该是技术行业,因为很多的时候AI可以代替普通的程序员,AI也能代替普通的运维人员,并且比运维人员更加的智能,比如说本次SLS日志一样,很多功能都是非常实用的,也是一些运维人员需要掌握的技能(机房容灾能力,如果一个服务器挂了,可以进行容灾的处理,不至于所有的机房都会受到影响、智能分析的能力,如果出现404了或者一些cpu、内存的原因导致的错误,可以快速分析出来,已经定制好解决方案进行解决)。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
7天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
113 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
7天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
4月前
|
SQL 运维 监控
SLS 数据加工全面升级,集成 SPL 语法
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。
18175 138
|
1月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
35 2
|
3月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
128 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
2月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
192 3
|
3月前
|
存储 监控 网络协议
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
|
3月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
57 0
|
3月前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
65 0