日常工作中,你对于日志数据都是如何利用的?

简介: 近期阿里云宣布日志服务 SLS 内核迎来全新升级(https://developer.aliyun.com/topic/sls_pay_by_ingested_data1?spm=a2c6h.13066369.question.3.7f77533dUZ1xiM),通过运维领域模型加持,全链路提升智能分析能力,以更稳定、更智能、更高效、更普惠的平台全方面帮助企业加速拥抱云原生和AI;目前我公司日志服务的使用场景,以及公司自研的日志系统。

阿里云日志SLS的功能:

同城冗余高可用存储,提供云上同城容灾服务能力;

  • 提供机房级容灾能力:
    当服务终端或灾难导致机房不可用时,提供强一致性的服务能力,可满足关键业务系统对于 RPO=0 的强需求。
  • 更高的SLA可用性指标:
    SLS “同城区域冗余”存储能够提供99.95%的可用性SLA指标,相比于“本地冗余存储”99.9% SLA 指标,具有更高的可用性证。
  • 一键开通:
    SLS“同城区域冗余”能非常方便构建云上同城容灾服务能力。采用多副本机制自动将用户数据分散存放在同城相距数十公里3个不同可用区内。

运维领域基础模型发布

  • 支持Trace请求的高延时分析能力:
    
支持OT协议的Trace数据的高延时诊断。
  • 支持指标的异常检测:
    
可准确识别时序指标的形态,辅助可以做好更加智能的巡检。
  • 文本的分词标注:
    
针对日志场景,提供丰富的LogNER的能力,辅助抽取带有语义信息的日志模板。
  • 支持标注能力:
    
用户可通过平台的标注能力,从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。

高性能查询分析引擎新升级

  • 查询功能优化与性能提升:
    查询支持全局纳秒有序,每秒查询百亿~千亿行日志。
  • 分析性能提升:
    分析性能提高100~300%,每秒处理数十亿行日志。
  • 分析规模提升:
    单用户最大并发提升20倍,内存使用上限提升10倍,支持更大规模、更复杂查询。

我公司的日志服务:

1、如有一个运维领域基础模型,你希望这个模型支持哪些场景的能力?

高性能查询分析引擎相关的运用,由于目前是面向旅游方面的订单日志,日志量很大,使用ES进行保存的相关日志,并且还需要定期进行删除日志,目前只保留了2个月内的日志记录。随着国内旅游业的复苏,目前日志查询也越来越慢了,如果可以支持对于热门景点订单的日志进行特殊的分析、查询的话,可以解决目前公司内存在的问题。

自动化分析检索模型的运用,如果存在特别的日志,进行报警的处理,比如直接钉钉提醒,邮件、短信提醒等功能;

全流程分析链路的功能,由于旅游订单的流程比较长,在遇到问题的时候,可能进行全链路的日志分析处理,这样可以清晰的分析出来问题的原因,以及对应哪个环节出现的问题,方便问题的排查与定位;

2、你有什么场景的日志数据,需要保存3个月以上?

订单的支付日志,财务系统的日志需要保存三个月以上的,因为这些数据的周期比较长,在遇到问题的时候,需要进行订单的日志分析。比如说订单变更操作、支付操作、退款操作、财务结算操作等等;

3、AI是否是运维人以后必须掌握的技能?

是的,随着技术的进步,AI会逐渐进入各大行业,首当其冲的应该是技术行业,因为很多的时候AI可以代替普通的程序员,AI也能代替普通的运维人员,并且比运维人员更加的智能,比如说本次SLS日志一样,很多功能都是非常实用的,也是一些运维人员需要掌握的技能(机房容灾能力,如果一个服务器挂了,可以进行容灾的处理,不至于所有的机房都会受到影响、智能分析的能力,如果出现404了或者一些cpu、内存的原因导致的错误,可以快速分析出来,已经定制好解决方案进行解决)。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5天前
|
人工智能 数据可视化 开发工具
Git log 进阶用法(含格式化、以及数据过滤)
Git log 进阶用法(含格式化、以及数据过滤)
|
5月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
117 40
|
8月前
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
611 1
|
9月前
|
消息中间件 数据采集 SQL
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
|
7天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
77 11
|
13天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
18 0
|
13天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
41 0
|
5月前
|
SQL 关系型数据库 MySQL
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
43 0
|
12天前
|
存储 数据库 流计算
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
111 0
|
6月前
|
存储 数据采集 监控
从存储统一到数据融合,SLS在可观测场景的思考和行动
介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。
127624 52