【功能发布】日志服务(SLS)9-10月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志服务9月功能发布

新地域

新增英国(伦敦)区域

新功能

1.新增机器学习/统计函数

摘要
日志服务新增机器学习函数,提升智能日志分析能力

适用客户
开发者、运维人员、数分析师

详细说明
机器学习功能为您提供多种功能丰富的算法和便捷的调用方式,您可以在日志查询分析中通过SELECT语句和机器学习函数调用机器学习算法,分析某一字段或若干字段在一段时间内的特征。尤其是针对时序数据分析场景,日志服务提供了丰富的时序分析算法,可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题,兼容SQL标准接口,大大降低了您使用算法的门槛,提高分析问题和解决问题的效率。功能特点:

  • 支持单时序序列的多种平滑操作。
  • 支持单时序的序列预测、异常检测、变点检测、折点检测、多周期估计算法。
  • 支持单时序的序列分解操作。
  • 支持多时序序列的多种聚类算法。
  • 支持多字段(数值列、文本列)的模式挖掘。

文档

2. 新增公网IP/服务端到达时间标签

摘要
日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。

适用客户
开发者,运营人员

详细说明
客户端公网IP可以和日志服务提供的IP相关函数结合,帮助用户获取客户端的城市,省份等位置分布信息。而服务端到达时间可以统计日志的实际到达服务端的时间,当客户端写入的时间不准确时,日志到达服务端的时间可以作为日志时间的补充。
用户在控制台开通该功能后,使用SDK,WebTracking等方式写入日志时,日志服务会记录客户端IP地址和日志到达服务端的时间,并以标签__client_ip__ 和__receive_time__中。用户可以通过控制台查询,消费组,流计算等消费方式对这两个标签进行消费。

文档

3. 新增Compare/时序数据补点等函数

摘要
日志服务新增Compare系列扩展函数,时序补点函数,加强场景分析能力。

适用客户
开发者、运维人员

详细说明
compare_result()对compare结果与比例直接以字符串形式统一输出。
compare() 新增多时间段比较,能在一个函数内对最大4个时间区间进行比较,例如可以同时计算同比,环比等数据。

文档

4. 仪表盘新增过滤器图表

摘要
仪表盘新增过滤器图表,包含新增过滤条件和变量替换功能。

适用客户
开发者、运维人员

详细说明
在日志服务仪表盘中增加过滤器配置,可以过滤器缩小查询范围或替换占位符变量,即对整个仪表盘进行查询过滤(Filter)和变量替换(Variables)操作,仅需进行一次配置即可在整个仪表盘中对某一Key值进行持续的交互分析。

文档

5. 发布实时推送(LiveTail)功能

摘要
日志服务新增LiveTail功能,实时监控线上日志文件写入,不需要登录服务器既可以达到远程tail -f效果。

适用客户
开发者、运维工程师

详细说明
在传统的运维方式中,我们如果需要对日志文件进行实时监控,就要到服务器上对日志文件进行tail -f命令操作,然后实时监控的日志信息不够直观的话,再加上grep或者grep -v进行关键词过滤。
这样的操作非常方便有效,但在分析异常中会力不从心,所以日志服务在控制台上新增了LiveTail功能,以满足以下的场景:

  • 监控日志的实时反馈,关键词标记以及过滤。
  • 结合采集配置,对采集的日志进行索引区分。
  • 日志字段作分词处理,以便查询包含分词的上下文日志。
  • 根据单条日志信息追踪到对应日志文件进行实时监控,无需连接线上机器。

文档:

6. CLI - 支持高速跨域复制/重索引/重投递数据功能

摘要
日志服务的命令行工具(CLI)增加了高速跨域日志复制,对历史数据进行重新索引与数仓投递的功能。

适用客户
开发者,运维工程师

详细说明
CLI 增加如下两项功能:

  1. 使用CLI提供的copy_data子命令,即可轻松基于特定时间区域的数据,从一个区域的logstore复制到另一个区域的logstore(可以同区域同logstore)。
  2. 支持了对历史数据进行重新索引、重新投递的功能。

文档:

云产品接入

1. 函数计算Metric

摘要

函数计算用户可以将函数调用的统计信息采集到日志服务LogStore存储,并支持对函数调用进行实时查询与分析统计、通过多种可视化方式进行分析结果的直观展示,帮助您更好地掌控函数运行状态。

适用客户

函数DevOps人员、财务人员

详细说明

  • 函数计算Metric数据实时采集,绝大部分情况下用户可见延迟为秒级
  • 满足函数实时诊断需求:通过关键词进行日志查询,并支持SQL语法进行问题诊断
  • 内置一张报表,包括:计费调用次数、资源使用量、公网出入流量、服务质量、函数并发度、执行时间等指标
  • 支持对函数健康程度进行监控,通过查询语句获取函数调用的统计结果并设置阈值触发告警

文档

2. 态势感知

摘要

阿里云态势感知日志分析(LogAnalysis)可提供态势感知风险威胁数据的实时收集、查询与实时分析、存储和分发等一站式服务。无需您开发就能快捷完成全要素风险和威胁日志数据的采集、查询与实时分析等,帮助您提升运维、运营效率。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

功能优势:

  • 秒级完成安全与主机日志分析, 网络日志可达1小时级别
  • 全面覆盖网络、主机、安全三大类共14种类型的子日志
  • 支持API接口及多种语言的SDK, 与阿里云、开源生态下游计算、大数据系统融合,对合作伙伴开放
  • 操作简便、开箱即用;支持用户基于自身业务场景自定义构建业务视图

功能描述:

  1. 实时全要素日志采集: 帮助用户及时全面了解资产的数据和运行情况,及时获取资产中包含主机、网络和安全方面的风险和威胁,全面防护您的资产安全。
  2. 智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。
  3. 快速分析: 态势感知日志分析服务提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  4. 丰富的报表仪表盘界面: 日志报表页面可集中展示安全、主机和网络3类日志列表仪表盘的相关数据,支持接入多种可视化平台。
  5. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  6. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

文档

3. DRDS日志审计与分析

摘要

阿里云分布式关系数据库DRDS的SQL执行日志已经与日志服务打通,提供历史 SQL 追溯能力,提供 SQL 实时分析能力,全方位展示数据库执行状况、性能指标、安全问题。并提供内置可深钻的报表、支持异常报警与生态对接能力等。

适用客户

  • 合规:对SQL审计日志存储有更长存储合规需求(例如半年/1年)的大型企业与机构,如金融公司、政府类机构等。
  • 高级运维:需要对数据库状况做实时监测,并对业务上出现的性能、可靠、稳定性等异常问题能够进行快速排错的客户,需要使用日志服务的实时的交互式的统计、查询分析和报警功能,如互联网服务、金融等企业。
  • 安全:需要对数据库安全进行审计,辅助数据安全防护和事后排查的公司,需要使用日志服务的实时查询分析功能,如金融、证券、电商、游戏等公司。
  • 行为分析:需要对数据库操作做行为分析,作进一步性能、功能、体验调优的参考和验证,除了统计查询外,也需要对接外部系统做进一步深度分析的公司。

详细说明

具备以下优势:

  • 简单轻松配置,即可实时采集SQL执行审计。支持一键历史执行SQL的审计信息导入。
  • 可靠:对现有数据库支持无性能影响,数据实时接入,秒级延迟。
  • 信息充分:除了执行的SQL之外,也自动提供事务归类、SQL模板归类、SQL类型解析、执行时间、执行结果、影响行数等信息,对数据库执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  • 强大:依托日志服务,提供实时日志分析,并提供开箱机用的报表中心,并提供深钻能力,且支持定制。
  • 灵活:支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。
  • 成本优势:支持任意时间的存储,以便合规、溯源、备案等。每1000万条SQL审计日志存储一个月,每天只需2毛钱左右

文档

4. CDN实时日志分析

摘要

用户可以在控制台对CDN日志进行所见即所得分析

适用客户

开发者、运维人员、运营人员、财务人员

详细说明

CDN实时日志延时小(秒级延时),可以帮助您快速的了解到CDN的访问详情,开通服务后,CDN将日志数据自动投递到日志服务(SLS),免去繁琐的传统日志分析的流程,实时查看日志分析结果。通过日志的实时分析,您可以快速发现和定位问题,通过对日志数据的挖掘,提高数据的决策能力,将您的业务推向一个新的高度。

该方案有如下特点:

  • 实时日志为实时采集的日志数据,日志数据延迟大部分情况为秒级
  • 打通了日志服务分析的能力,为客户定制4张分析报表,帮助您快速对日志进行分析,发现问题,及时决策。

文档

体验优化

1. 接入向导功能优化

摘要
接入向导分隔符模式增加自定义配置quote功能,高级选项新增丢弃解析失败日志开关。

适用客户
开发者、运维人员

详细说明
接入向导在分隔符模式下可支持用户自定义配置quote转义符,同时高级选项内新增丢弃解析失败日志开关,开启后,解析失败的日志不上传到日志服务,关闭后,日志解析失败时上传原始日志。

2. 控制台优化

摘要
控制台功能体验增强,支持各实例中文设置,优化名称修改和图形显示等逻辑。

适用客户
开发者、运维人员

详细说明

  1. 快速查询,告警名称,告警字段,仪表盘名称支持中文设置
  2. 仪表盘页面可编辑仪表盘名称
  3. 快速查询详情开放名称修改功能
  4. 中国地图世界地图显示颜色优化
  5. markdown支持有序列表,无序列表
  6. 日志下载优化,动态生成命令行
  7. 线图优化,非双轴图的情况下可正常使用legend
  8. 日志查询页面全面优化渲染性能
  9. 日志查询页面内容列新增折叠相关配置,用户可以根据自身日志量合理调整折叠粒度
  10. 日志查询页面左侧资源树交互调整,扩大可视区域
  11. 表格类图表新增翻页组件,保障大limit条件下图表有稳定的渲染性能
  12. 时间选择新增今天(相对时间)、最新5分钟
  13. 国际站同步中文站部分功能

3. 控制台bug修复

  1. 分词符输入''导致出现多个''
  2. dashboard在只存在markdown的情况下无法显示标题
  3. 线图超过8条后,颜色显示异常
  4. dashboard添加,名称和图表名称相同情况下无法创建
  5. 流图配置在没有数据情况下导致页面卡死
  6. 存在markdown的仪表盘,点击刷新一直处于loading状态
  7. 修复桑基图在数据项为0情况下label重叠问题
  8. 修复矩形树图label显示过密问题
  9. 修复当前页选中点击标签页可能导致js报错问题
  10. 修复编辑markdown图表有可能导致图表重复渲染问题
  11. 修复左侧资源数查询后导致dashboard标题消失问题
  12. 修复仪表盘全屏模式下刷新会导致css样式错乱问题
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
22天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
165 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
87 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
248 3
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1648 14
|
2月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
35 0
|
2月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
218 0
|
2月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
44 0
|
2月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
60 0
|
3月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
3月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
163 9

相关产品

  • 日志服务