日常工作中,你对于日志数据都是如何利用的?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 近期阿里云宣布日志服务 SLS 内核迎来全新升级(https://developer.aliyun.com/topic/sls_pay_by_ingested_data1?spm=a2c6h.13066369.question.3.7f77533dUZ1xiM),通过运维领域模型加持,全链路提升智能分析能力,以更稳定、更智能、更高效、更普惠的平台全方面帮助企业加速拥抱云原生和AI;目前我公司日志服务的使用场景,以及公司自研的日志系统。

阿里云日志SLS的功能:

同城冗余高可用存储,提供云上同城容灾服务能力;

  • 提供机房级容灾能力:
    当服务终端或灾难导致机房不可用时,提供强一致性的服务能力,可满足关键业务系统对于 RPO=0 的强需求。
  • 更高的SLA可用性指标:
    SLS “同城区域冗余”存储能够提供99.95%的可用性SLA指标,相比于“本地冗余存储”99.9% SLA 指标,具有更高的可用性证。
  • 一键开通:
    SLS“同城区域冗余”能非常方便构建云上同城容灾服务能力。采用多副本机制自动将用户数据分散存放在同城相距数十公里3个不同可用区内。

运维领域基础模型发布

  • 支持Trace请求的高延时分析能力:
    
支持OT协议的Trace数据的高延时诊断。
  • 支持指标的异常检测:
    
可准确识别时序指标的形态,辅助可以做好更加智能的巡检。
  • 文本的分词标注:
    
针对日志场景,提供丰富的LogNER的能力,辅助抽取带有语义信息的日志模板。
  • 支持标注能力:
    
用户可通过平台的标注能力,从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。

高性能查询分析引擎新升级

  • 查询功能优化与性能提升:
    查询支持全局纳秒有序,每秒查询百亿~千亿行日志。
  • 分析性能提升:
    分析性能提高100~300%,每秒处理数十亿行日志。
  • 分析规模提升:
    单用户最大并发提升20倍,内存使用上限提升10倍,支持更大规模、更复杂查询。

我公司的日志服务:

1、如有一个运维领域基础模型,你希望这个模型支持哪些场景的能力?

高性能查询分析引擎相关的运用,由于目前是面向旅游方面的订单日志,日志量很大,使用ES进行保存的相关日志,并且还需要定期进行删除日志,目前只保留了2个月内的日志记录。随着国内旅游业的复苏,目前日志查询也越来越慢了,如果可以支持对于热门景点订单的日志进行特殊的分析、查询的话,可以解决目前公司内存在的问题。

自动化分析检索模型的运用,如果存在特别的日志,进行报警的处理,比如直接钉钉提醒,邮件、短信提醒等功能;

全流程分析链路的功能,由于旅游订单的流程比较长,在遇到问题的时候,可能进行全链路的日志分析处理,这样可以清晰的分析出来问题的原因,以及对应哪个环节出现的问题,方便问题的排查与定位;

2、你有什么场景的日志数据,需要保存3个月以上?

订单的支付日志,财务系统的日志需要保存三个月以上的,因为这些数据的周期比较长,在遇到问题的时候,需要进行订单的日志分析。比如说订单变更操作、支付操作、退款操作、财务结算操作等等;

3、AI是否是运维人以后必须掌握的技能?

是的,随着技术的进步,AI会逐渐进入各大行业,首当其冲的应该是技术行业,因为很多的时候AI可以代替普通的程序员,AI也能代替普通的运维人员,并且比运维人员更加的智能,比如说本次SLS日志一样,很多功能都是非常实用的,也是一些运维人员需要掌握的技能(机房容灾能力,如果一个服务器挂了,可以进行容灾的处理,不至于所有的机房都会受到影响、智能分析的能力,如果出现404了或者一些cpu、内存的原因导致的错误,可以快速分析出来,已经定制好解决方案进行解决)。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
3月前
|
SQL 运维 监控
SLS 数据加工全面升级,集成 SPL 语法
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。
18145 136
|
16天前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
20 2
|
2月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
2月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
110 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
1月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
165 3
|
2月前
|
存储 监控 网络协议
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
|
2月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
44 0
|
2月前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
45 0
|
2月前
|
存储 运维 监控
Entity Framework Core 实现审计日志记录超棒!多种方法助你跟踪数据变化、监控操作,超实用!
【8月更文挑战第31天】在软件开发中,审计日志记录对于跟踪数据变化、监控用户操作及故障排查至关重要。Entity Framework Core (EF Core) 作为强大的对象关系映射框架,提供了多种实现审计日志记录的方法。例如,可以使用 EF Core 的拦截器在数据库操作前后执行自定义逻辑,记录操作类型、时间和执行用户等信息。此外,也可通过在实体类中添加审计属性(如 `CreatedBy`、`CreatedDate` 等),并在保存实体时更新这些属性来记录审计信息。这两种方法都能有效帮助我们追踪数据变更并满足合规性和安全性需求。
39 0