【功能发布】日志服务(SLS)11-12月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务(SLS)11-12月功能发布合集

新功能

1. 智能日志聚类(LogReduce)

摘要

新增智能文本模式聚类功能(LogReduce),能够在搜索分析过程中帮助发现日志的规律与特征,提升重要信息发现能力。

适用客户

开发者、运维、安全分析师

详细说明

用户在Logstore中开启文本模式聚类后,可以在查询中使用log_reduce()函数对海量日志进行模式(pattern)自动聚类,相似格式的日志会自动分为同一类,该方案有如下特点:

  • 智能:无缝适配各种日志格式,例如Log4J,分隔符,Json等日志
  • 海量数据实时处理:支持对亿级的数据秒级分析出结果
  • 交互性:对聚类后日志提供签名(Signature)进行反查
  • 灵活:支持前期任意条件筛选结果聚类,支持对不同时间聚类结果进行比较,支持手动调节聚类精度
    通过该功能可以快速对海量日志进行智能分析,快速有效定位问题。

文档

2. 告警功能升级

摘要

日志服务告警功能全面升级,新增电话、自定义邮件、短信、钉钉配置等功能,提供更丰富、灵活、可配置、所见即所得的告警设置。

适用客户

开发者、运维人员

详细说明

日志服务告警功能全面升级,支持如下新特性:

  • 控制台交互:基于仪表盘创建告警(所见即所得),全新的告警管理列表页支持告警状态、历史记录查看、快捷操作按钮
  • 告警大盘:在您配置告警任务的project下默认新增一个内置LogStore(免费)和仪表盘用于存储告警历史与数字统计,让告警管理更简单
  • 告警计算:支持多个图表(SQL查询)结果的组合计算判断触发,新增如四则运算、括号优先级等运算符
  • 告警条件:新增临时关闭告警、禁用告警通知、自定义通知间隔支持
  • 通知方式:新增邮件通知选项,并且可以支持多选(例如同时进行钉钉、邮件通知)
  • 通知内容:强大的模板变量支持,您可以从告警查询结果中提取字段内容进行告警内容的编排,让告警内容更精准
  • 告警搠因:可以从告警信息上快速深钻到与告警结果相关联的图表指标、告警历史记录
  • 查询周期:告警结果所依赖的SQL查询周期支持1天以上的区间(从计算性能考虑,大流量LogStore请谨慎设置超大时间区间)
  • 新模式:支持用户通过通知中心订阅日志服务告警语音通知或者通过手机号码发送语音告警;
  • 灵活配置:支持在告警通知Webhook中自定义header;钉钉通知支持@部分或者全体群成员,支持自定义标题;支持自定义邮件主题
  1. 文档
    https://help.aliyun.com/document_detail/48162.html

3. Windows Logtail发布

摘要

Windows Logtail 全新发布,支持完整Logtail功能

适用客户

开发者、运维人员

详细说明

Windows Logtail全新升级,支持完整Linux Logtail支持功能:

  1. 补齐自定义插件、导入历史日志文件等 Linux 版本独占功能,现已实现和 Linux 版本的对齐。升级及安装说明可见文档
  2. 日志采集插件能够对任意 Windows 事件日志进行采集,既包括应用程序、安全、系统等常见通道,也支持事件查看器中的其他自定义通道。

文档

4 手机号归属地查询函数

摘要

日志服务查询分析功能新增手机号转省份、城市、运营商函数

适用客户

开发者、运维人员

详细说明

日志服务查询分析功能新增手机号转归属地的功能,可以调用mobile_province, mobile_city和mobile_carrier等函数查询手机号的归属地信息,有效的帮助客户分析数据的地理位置。

文档

https://help.aliyun.com/document_detail/98580.html

功能+体验优化

1. Logtail-Binlog 优化

摘要

Logtail MySQL binlog 插件支持以 GTID 作为 checkpoint 来维护同步进度,解决主备 binlog 序号不一致时的数据重复采集问题。

适用客户

开发者、运维人员

详细说明

除了原先的基于 binlog 序号(文件及偏移)的 checkpoint 机制,MySQL binlog 新增基于 GTID 的 checkpoint,主要功能:

  • 根据 MySQL 服务器的版本和启用状态,自动判断是否使用基于 GTID 的 checkpoint 类型,如果可用,将优先使用,如果不可用,仍旧使用基于 binlog 序号的 checkpoint。
  • 基于 GTID 的 checkpoint 机制能够有效解决主备 binlog 序号不一致时引起的数据重复采集问题。

文档

https://help.aliyun.com/document_detail/64953.html

2. Logtail-Kubernetes 优化

摘要

Logtail Kubernetes日志采集优化,支持更多元数据采集。

适用客户

开发者、运维人员

详细说明

Logtail Kubernetes日志采集增加上传Node节点Meta信息(NodeIP以及NodeName);CRD配置支持自动创建包含Kubernetes相关Meta的索引;Sidecar模式日志采集增加上传Pod以及Node节点Meta信息。

文档

https://help.aliyun.com/document_detail/66654.html

3. 机器学习函数优化

详细说明

  1. 在ts_predicate_simple/ar/arma/arima函数中,添加isSmooth参数,用来控制是否对原始时序数据进行滤波操作
  2. 发布ts_regression_predict函数,提供了'origin','forest','linear'三种时序预测算法
  3. 提供ts_find_peaks局部极值检测函数
  4. 在ts_smooth_simple函数中,将三重指数平滑的算法参数爆率出来,同时提供wavelet算法模式,可以较好的保存原始序列中的低频信号
  5. 在底层引入小波算法,优化了针对的周期序列中的周期检测效果

4. 控制台嵌入功能增强

摘要

控制台支持访问时行动态鉴权

适用客户

开发者、运维人员

详细说明

控制台支持每次方式时动态鉴权,变化如下:

  1. 已有的控制台嵌入功能,生成的免登链接对应的访问权限直接继承于对应的角色权限,如果嵌入后需要对不同用户设置不同访问权限,需要创建大量的角色以指定不同的权限,对于管理以及角色映射上带来了很大困难。
  2. 新版嵌入功能,支持生成免登链接时动态指定本次访问对应的权限,该权限必须为角色权限的子集,通过此方式,可以在为不同用户生成免登链接时动态设定具体的权限,最终只需要管理一个角色即可,大大方便企业用户将日志服务控制台与内部账户系统进行权限管理。

文档

https://help.aliyun.com/document_detail/74971.html

5. 控制台体验优化

新增功能

  1. 分隔符模式下新增接受部分字段开关,以判断日志分隔后实际字段数少于预设Key数量时,是否上传日志
  2. 接入向导内增加态势感知和DRDS入口
  3. table图表优化,自定义列缩进,单个字段内容过长可进行展开,收起的操作
  4. 索引配置框性能优化,添加分页器
  5. 查询页面左侧资源树状重构,优化性能
  6. markdown支持绑定查询变量
  7. 快速查询页面显示当前logstore

修复Bug

  1. 修复html内容在表格图表会被解析的问题
  2. 修复输入包含不同机器学习函数的query,无法识别函数类型的问题
  3. 修复dashboard图表加载顺序可能引发页面重新刷新的问题
  4. 修复dashboard选择整体时间,点击重置时间失效的问题
  5. 修复矩形树图存在name字段的关键字,导致数据显示不全的问题
  6. 修复时间选择器选择今日整点,显示今日相对的问题

支持云产品

1. WAF日志实时分析

摘要

阿里云WAF日志分析(LogAnalysis)提供阿里云WAF访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

实时全要素日志采集: 帮助用户及时全面网站被访问与攻击状况。

智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。

  1. 快速分析: 提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  2. 丰富的报表仪表盘界面: 日志报表页面可集中展示运维, 访问与安全3类仪表盘的相关数据,支持接入多种可视化平台。
  3. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  4. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

2. 新BGP高防 - 实时日志分析发布

摘要

阿里云新BGP高防日志分析提供阿里云新BGP高防7层访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 对云上资产的安全日志有存储合规需求的大型企业与机构,如金融公司、政府类机构等。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能提供:

  1. 轻松配置,即可实时高防日志采集。购买后的新配置的网站自开启日志功能.
  2. 依托日志服务,提供实时日志分析,并提供开箱机用的报表中心(支持定制),对被保护服务的执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  3. 免费提供30天存储及3TB的额度.
  4. 支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。
  5. 可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。

文档

https://help.aliyun.com/document_detail/99108.html

3. 反爬风险管理 - 实时日志分析发布

摘要

阿里云反爬风险管理日志分析提供阿里云反爬访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 拥有大量优质与知识产权的视频、图片、文字载体的内容、教育、媒体、咨询类网站。
  • 面向大量优质客户,并频繁更新Web上金融、电商、服务信息的互联网企业,如航空、政府、电商、金融网站。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能特点如下:

  • 配置简单:轻松配置即可实现反爬访问与攻击日志的实时采集。
  • 实时分析:依托日志服务产品,提供实时日志分析能力、开箱即用的报表中心与自带交互挖掘支持,从0到1, 让您对网站业务的各种爬虫攻击状况以及客户访问细节了如指掌。
  • 实时告警:支持基于特定指标定制准实时的监测与告警,确保在关键业务发生异常时能第一时间响应。
  • 生态体系:支持对接其他生态如实时计算、云存储、可视化等方案,进一步挖掘数据价值。
  • 费用:免费提供14天实时访问与攻击日志的存储。

文档

https://help.aliyun.com/document_detail/100510.htm

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
12天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
121 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
65 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
220 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1630 14
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
31 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
194 0
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
40 0
|
1月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
54 0
|
2月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
150 9

相关产品

  • 日志服务