【功能发布】日志服务(SLS)11-12月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 日志服务(SLS)11-12月功能发布合集

新功能

1. 智能日志聚类(LogReduce)

摘要

新增智能文本模式聚类功能(LogReduce),能够在搜索分析过程中帮助发现日志的规律与特征,提升重要信息发现能力。

适用客户

开发者、运维、安全分析师

详细说明

用户在Logstore中开启文本模式聚类后,可以在查询中使用log_reduce()函数对海量日志进行模式(pattern)自动聚类,相似格式的日志会自动分为同一类,该方案有如下特点:

  • 智能:无缝适配各种日志格式,例如Log4J,分隔符,Json等日志
  • 海量数据实时处理:支持对亿级的数据秒级分析出结果
  • 交互性:对聚类后日志提供签名(Signature)进行反查
  • 灵活:支持前期任意条件筛选结果聚类,支持对不同时间聚类结果进行比较,支持手动调节聚类精度
    通过该功能可以快速对海量日志进行智能分析,快速有效定位问题。

文档

2. 告警功能升级

摘要

日志服务告警功能全面升级,新增电话、自定义邮件、短信、钉钉配置等功能,提供更丰富、灵活、可配置、所见即所得的告警设置。

适用客户

开发者、运维人员

详细说明

日志服务告警功能全面升级,支持如下新特性:

  • 控制台交互:基于仪表盘创建告警(所见即所得),全新的告警管理列表页支持告警状态、历史记录查看、快捷操作按钮
  • 告警大盘:在您配置告警任务的project下默认新增一个内置LogStore(免费)和仪表盘用于存储告警历史与数字统计,让告警管理更简单
  • 告警计算:支持多个图表(SQL查询)结果的组合计算判断触发,新增如四则运算、括号优先级等运算符
  • 告警条件:新增临时关闭告警、禁用告警通知、自定义通知间隔支持
  • 通知方式:新增邮件通知选项,并且可以支持多选(例如同时进行钉钉、邮件通知)
  • 通知内容:强大的模板变量支持,您可以从告警查询结果中提取字段内容进行告警内容的编排,让告警内容更精准
  • 告警搠因:可以从告警信息上快速深钻到与告警结果相关联的图表指标、告警历史记录
  • 查询周期:告警结果所依赖的SQL查询周期支持1天以上的区间(从计算性能考虑,大流量LogStore请谨慎设置超大时间区间)
  • 新模式:支持用户通过通知中心订阅日志服务告警语音通知或者通过手机号码发送语音告警;
  • 灵活配置:支持在告警通知Webhook中自定义header;钉钉通知支持@部分或者全体群成员,支持自定义标题;支持自定义邮件主题
  1. 文档
    https://help.aliyun.com/document_detail/48162.html

3. Windows Logtail发布

摘要

Windows Logtail 全新发布,支持完整Logtail功能

适用客户

开发者、运维人员

详细说明

Windows Logtail全新升级,支持完整Linux Logtail支持功能:

  1. 补齐自定义插件、导入历史日志文件等 Linux 版本独占功能,现已实现和 Linux 版本的对齐。升级及安装说明可见文档
  2. 日志采集插件能够对任意 Windows 事件日志进行采集,既包括应用程序、安全、系统等常见通道,也支持事件查看器中的其他自定义通道。

文档

4 手机号归属地查询函数

摘要

日志服务查询分析功能新增手机号转省份、城市、运营商函数

适用客户

开发者、运维人员

详细说明

日志服务查询分析功能新增手机号转归属地的功能,可以调用mobile_province, mobile_city和mobile_carrier等函数查询手机号的归属地信息,有效的帮助客户分析数据的地理位置。

文档

https://help.aliyun.com/document_detail/98580.html

功能+体验优化

1. Logtail-Binlog 优化

摘要

Logtail MySQL binlog 插件支持以 GTID 作为 checkpoint 来维护同步进度,解决主备 binlog 序号不一致时的数据重复采集问题。

适用客户

开发者、运维人员

详细说明

除了原先的基于 binlog 序号(文件及偏移)的 checkpoint 机制,MySQL binlog 新增基于 GTID 的 checkpoint,主要功能:

  • 根据 MySQL 服务器的版本和启用状态,自动判断是否使用基于 GTID 的 checkpoint 类型,如果可用,将优先使用,如果不可用,仍旧使用基于 binlog 序号的 checkpoint。
  • 基于 GTID 的 checkpoint 机制能够有效解决主备 binlog 序号不一致时引起的数据重复采集问题。

文档

https://help.aliyun.com/document_detail/64953.html

2. Logtail-Kubernetes 优化

摘要

Logtail Kubernetes日志采集优化,支持更多元数据采集。

适用客户

开发者、运维人员

详细说明

Logtail Kubernetes日志采集增加上传Node节点Meta信息(NodeIP以及NodeName);CRD配置支持自动创建包含Kubernetes相关Meta的索引;Sidecar模式日志采集增加上传Pod以及Node节点Meta信息。

文档

https://help.aliyun.com/document_detail/66654.html

3. 机器学习函数优化

详细说明

  1. 在ts_predicate_simple/ar/arma/arima函数中,添加isSmooth参数,用来控制是否对原始时序数据进行滤波操作
  2. 发布ts_regression_predict函数,提供了'origin','forest','linear'三种时序预测算法
  3. 提供ts_find_peaks局部极值检测函数
  4. 在ts_smooth_simple函数中,将三重指数平滑的算法参数爆率出来,同时提供wavelet算法模式,可以较好的保存原始序列中的低频信号
  5. 在底层引入小波算法,优化了针对的周期序列中的周期检测效果

4. 控制台嵌入功能增强

摘要

控制台支持访问时行动态鉴权

适用客户

开发者、运维人员

详细说明

控制台支持每次方式时动态鉴权,变化如下:

  1. 已有的控制台嵌入功能,生成的免登链接对应的访问权限直接继承于对应的角色权限,如果嵌入后需要对不同用户设置不同访问权限,需要创建大量的角色以指定不同的权限,对于管理以及角色映射上带来了很大困难。
  2. 新版嵌入功能,支持生成免登链接时动态指定本次访问对应的权限,该权限必须为角色权限的子集,通过此方式,可以在为不同用户生成免登链接时动态设定具体的权限,最终只需要管理一个角色即可,大大方便企业用户将日志服务控制台与内部账户系统进行权限管理。

文档

https://help.aliyun.com/document_detail/74971.html

5. 控制台体验优化

新增功能

  1. 分隔符模式下新增接受部分字段开关,以判断日志分隔后实际字段数少于预设Key数量时,是否上传日志
  2. 接入向导内增加态势感知和DRDS入口
  3. table图表优化,自定义列缩进,单个字段内容过长可进行展开,收起的操作
  4. 索引配置框性能优化,添加分页器
  5. 查询页面左侧资源树状重构,优化性能
  6. markdown支持绑定查询变量
  7. 快速查询页面显示当前logstore

修复Bug

  1. 修复html内容在表格图表会被解析的问题
  2. 修复输入包含不同机器学习函数的query,无法识别函数类型的问题
  3. 修复dashboard图表加载顺序可能引发页面重新刷新的问题
  4. 修复dashboard选择整体时间,点击重置时间失效的问题
  5. 修复矩形树图存在name字段的关键字,导致数据显示不全的问题
  6. 修复时间选择器选择今日整点,显示今日相对的问题

支持云产品

1. WAF日志实时分析

摘要

阿里云WAF日志分析(LogAnalysis)提供阿里云WAF访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

实时全要素日志采集: 帮助用户及时全面网站被访问与攻击状况。

智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。

  1. 快速分析: 提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  2. 丰富的报表仪表盘界面: 日志报表页面可集中展示运维, 访问与安全3类仪表盘的相关数据,支持接入多种可视化平台。
  3. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  4. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

2. 新BGP高防 - 实时日志分析发布

摘要

阿里云新BGP高防日志分析提供阿里云新BGP高防7层访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 对云上资产的安全日志有存储合规需求的大型企业与机构,如金融公司、政府类机构等。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能提供:

  1. 轻松配置,即可实时高防日志采集。购买后的新配置的网站自开启日志功能.
  2. 依托日志服务,提供实时日志分析,并提供开箱机用的报表中心(支持定制),对被保护服务的执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  3. 免费提供30天存储及3TB的额度.
  4. 支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。
  5. 可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。

文档

https://help.aliyun.com/document_detail/99108.html

3. 反爬风险管理 - 实时日志分析发布

摘要

阿里云反爬风险管理日志分析提供阿里云反爬访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 拥有大量优质与知识产权的视频、图片、文字载体的内容、教育、媒体、咨询类网站。
  • 面向大量优质客户,并频繁更新Web上金融、电商、服务信息的互联网企业,如航空、政府、电商、金融网站。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能特点如下:

  • 配置简单:轻松配置即可实现反爬访问与攻击日志的实时采集。
  • 实时分析:依托日志服务产品,提供实时日志分析能力、开箱即用的报表中心与自带交互挖掘支持,从0到1, 让您对网站业务的各种爬虫攻击状况以及客户访问细节了如指掌。
  • 实时告警:支持基于特定指标定制准实时的监测与告警,确保在关键业务发生异常时能第一时间响应。
  • 生态体系:支持对接其他生态如实时计算、云存储、可视化等方案,进一步挖掘数据价值。
  • 费用:免费提供14天实时访问与攻击日志的存储。

文档

https://help.aliyun.com/document_detail/100510.htm

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
1月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
81 9
|
2月前
|
存储 监控 Serverless
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
|
2月前
|
监控 Serverless 开发者
函数计算发布功能问题之查看函数的调用日志的问题如何解决
函数计算发布功能问题之查看函数的调用日志的问题如何解决
|
2月前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
78 0
|
2月前
|
C# Windows 监控
WPF应用跨界成长秘籍:深度揭秘如何与Windows服务完美交互,扩展功能无界限!
【8月更文挑战第31天】WPF(Windows Presentation Foundation)是 .NET 框架下的图形界面技术,具有丰富的界面设计和灵活的客户端功能。在某些场景下,WPF 应用需与 Windows 服务交互以实现后台任务处理、系统监控等功能。本文探讨了两者交互的方法,并通过示例代码展示了如何扩展 WPF 应用的功能。首先介绍了 Windows 服务的基础知识,然后阐述了创建 Windows 服务、设计通信接口及 WPF 客户端调用服务的具体步骤。通过合理的交互设计,WPF 应用可获得更强的后台处理能力和系统级操作权限,提升应用的整体性能。
77 0
|
2月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
SQL 数据采集 监控
基于日志服务数据加工分析Java异常日志
采集并脱敏了整个5月份的项目异常日志,准备使用日志服务数据加工做数据清洗以及分析。本案例是基于使用阿里云相关产品(OSS,RDS,SLS等)的SDK展开自身业务。需要对异常日志做解析,将原始日志中时间、错误码、错误信息、状态码、产品信息、请求方法、出错行号提取出来。然后根据提取出来的不同产品信息做多目标分发处理。对清洗后的数据做异常日志数据分析。
791 0
基于日志服务数据加工分析Java异常日志
|
2月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
|
2月前
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题

相关产品

  • 日志服务