新地域
新增英国(伦敦)区域
新功能
1.新增机器学习/统计函数
摘要
日志服务新增机器学习函数,提升智能日志分析能力
适用客户
开发者、运维人员、数分析师
详细说明
机器学习功能为您提供多种功能丰富的算法和便捷的调用方式,您可以在日志查询分析中通过SELECT语句和机器学习函数调用机器学习算法,分析某一字段或若干字段在一段时间内的特征。尤其是针对时序数据分析场景,日志服务提供了丰富的时序分析算法,可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题,兼容SQL标准接口,大大降低了您使用算法的门槛,提高分析问题和解决问题的效率。功能特点:
- 支持单时序序列的多种平滑操作。
- 支持单时序的序列预测、异常检测、变点检测、折点检测、多周期估计算法。
- 支持单时序的序列分解操作。
- 支持多时序序列的多种聚类算法。
- 支持多字段(数值列、文本列)的模式挖掘。
文档
2. 新增公网IP/服务端到达时间标签
摘要
日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。
适用客户
开发者,运营人员
详细说明
客户端公网IP可以和日志服务提供的IP相关函数结合,帮助用户获取客户端的城市,省份等位置分布信息。而服务端到达时间可以统计日志的实际到达服务端的时间,当客户端写入的时间不准确时,日志到达服务端的时间可以作为日志时间的补充。
用户在控制台开通该功能后,使用SDK,WebTracking等方式写入日志时,日志服务会记录客户端IP地址和日志到达服务端的时间,并以标签__client_ip__ 和__receive_time__中。用户可以通过控制台查询,消费组,流计算等消费方式对这两个标签进行消费。
文档
3. 新增Compare/时序数据补点等函数
摘要
日志服务新增Compare系列扩展函数,时序补点函数,加强场景分析能力。
适用客户
开发者、运维人员
详细说明
compare_result()对compare结果与比例直接以字符串形式统一输出。
compare() 新增多时间段比较,能在一个函数内对最大4个时间区间进行比较,例如可以同时计算同比,环比等数据。
文档
4. 仪表盘新增过滤器图表
摘要
仪表盘新增过滤器图表,包含新增过滤条件和变量替换功能。
适用客户
开发者、运维人员
详细说明
在日志服务仪表盘中增加过滤器配置,可以过滤器缩小查询范围或替换占位符变量,即对整个仪表盘进行查询过滤(Filter)和变量替换(Variables)操作,仅需进行一次配置即可在整个仪表盘中对某一Key值进行持续的交互分析。
文档
5. 发布实时推送(LiveTail)功能
摘要
日志服务新增LiveTail功能,实时监控线上日志文件写入,不需要登录服务器既可以达到远程tail -f效果。
适用客户
开发者、运维工程师
详细说明
在传统的运维方式中,我们如果需要对日志文件进行实时监控,就要到服务器上对日志文件进行tail -f
命令操作,然后实时监控的日志信息不够直观的话,再加上grep
或者grep -v
进行关键词过滤。
这样的操作非常方便有效,但在分析异常中会力不从心,所以日志服务在控制台上新增了LiveTail功能,以满足以下的场景:
- 监控日志的实时反馈,关键词标记以及过滤。
- 结合采集配置,对采集的日志进行索引区分。
- 日志字段作分词处理,以便查询包含分词的上下文日志。
- 根据单条日志信息追踪到对应日志文件进行实时监控,无需连接线上机器。
文档:
6. CLI - 支持高速跨域复制/重索引/重投递数据功能
摘要
日志服务的命令行工具(CLI)增加了高速跨域日志复制,对历史数据进行重新索引与数仓投递的功能。
适用客户
开发者,运维工程师
详细说明
CLI 增加如下两项功能:
- 使用CLI提供的copy_data子命令,即可轻松基于特定时间区域的数据,从一个区域的logstore复制到另一个区域的logstore(可以同区域同logstore)。
- 支持了对历史数据进行重新索引、重新投递的功能。
文档:
云产品接入
1. 函数计算Metric
摘要
函数计算用户可以将函数调用的统计信息采集到日志服务LogStore存储,并支持对函数调用进行实时查询与分析统计、通过多种可视化方式进行分析结果的直观展示,帮助您更好地掌控函数运行状态。
适用客户
函数DevOps人员、财务人员
详细说明
- 函数计算Metric数据实时采集,绝大部分情况下用户可见延迟为秒级
- 满足函数实时诊断需求:通过关键词进行日志查询,并支持SQL语法进行问题诊断
- 内置一张报表,包括:计费调用次数、资源使用量、公网出入流量、服务质量、函数并发度、执行时间等指标
- 支持对函数健康程度进行监控,通过查询语句获取函数调用的统计结果并设置阈值触发告警
文档
2. 态势感知
摘要
阿里云态势感知日志分析(LogAnalysis)可提供态势感知风险威胁数据的实时收集、查询与实时分析、存储和分发等一站式服务。无需您开发就能快捷完成全要素风险和威胁日志数据的采集、查询与实时分析等,帮助您提升运维、运营效率。
适用客户
安全运维人员、安全运营运营人员、安全系统开发者、CIO等
详细说明
功能优势:
- 秒级完成安全与主机日志分析, 网络日志可达1小时级别
- 全面覆盖网络、主机、安全三大类共14种类型的子日志
- 支持API接口及多种语言的SDK, 与阿里云、开源生态下游计算、大数据系统融合,对合作伙伴开放
- 操作简便、开箱即用;支持用户基于自身业务场景自定义构建业务视图
功能描述:
- 实时全要素日志采集: 帮助用户及时全面了解资产的数据和运行情况,及时获取资产中包含主机、网络和安全方面的风险和威胁,全面防护您的资产安全。
- 智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。
- 快速分析: 态势感知日志分析服务提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
- 丰富的报表仪表盘界面: 日志报表页面可集中展示安全、主机和网络3类日志列表仪表盘的相关数据,支持接入多种可视化平台。
- 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
- 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。
文档
- 配置介绍: https://help.aliyun.com/document_detail/93065.html
- 日志格式介绍: https://help.aliyun.com/document_detail/93115.html
- 查询日志介绍: https://help.aliyun.com/document_detail/93035.html
- 报表中心介绍: https://help.aliyun.com/document_detail/93114.html
- 导出日志介绍: https://help.aliyun.com/document_detail/93040.html
- 高级管理等: https://help.aliyun.com/document_detail/93461.html
3. DRDS日志审计与分析
摘要
阿里云分布式关系数据库DRDS的SQL执行日志已经与日志服务打通,提供历史 SQL 追溯能力,提供 SQL 实时分析能力,全方位展示数据库执行状况、性能指标、安全问题。并提供内置可深钻的报表、支持异常报警与生态对接能力等。
适用客户
- 合规:对SQL审计日志存储有更长存储合规需求(例如半年/1年)的大型企业与机构,如金融公司、政府类机构等。
- 高级运维:需要对数据库状况做实时监测,并对业务上出现的性能、可靠、稳定性等异常问题能够进行快速排错的客户,需要使用日志服务的实时的交互式的统计、查询分析和报警功能,如互联网服务、金融等企业。
- 安全:需要对数据库安全进行审计,辅助数据安全防护和事后排查的公司,需要使用日志服务的实时查询分析功能,如金融、证券、电商、游戏等公司。
- 行为分析:需要对数据库操作做行为分析,作进一步性能、功能、体验调优的参考和验证,除了统计查询外,也需要对接外部系统做进一步深度分析的公司。
详细说明
具备以下优势:
- 简单:轻松配置,即可实时采集SQL执行审计。支持一键历史执行SQL的审计信息导入。
- 可靠:对现有数据库支持无性能影响,数据实时接入,秒级延迟。
- 信息充分:除了执行的SQL之外,也自动提供事务归类、SQL模板归类、SQL类型解析、执行时间、执行结果、影响行数等信息,对数据库执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
- 强大:依托日志服务,提供实时日志分析,并提供开箱机用的报表中心,并提供深钻能力,且支持定制。
- 灵活:支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。
- 成本优势:支持任意时间的存储,以便合规、溯源、备案等。每1000万条SQL审计日志存储一个月,每天只需2毛钱左右。
文档
- 阿里云DRDS SQL审计日志 - 简介
- 阿里云DRDS SQL审计日志 - 开启配置
- 阿里云DRDS SQL审计日志 - 日志字段
- 阿里云DRDS SQL审计日志 - 日志分析
- 阿里云DRDS SQL审计日志 - 日志报表
- 阿里云DRDS SQL审计日志 - 高级管理
4. CDN实时日志分析
摘要
用户可以在控制台对CDN日志进行所见即所得分析
适用客户
开发者、运维人员、运营人员、财务人员
详细说明
CDN实时日志延时小(秒级延时),可以帮助您快速的了解到CDN的访问详情,开通服务后,CDN将日志数据自动投递到日志服务(SLS),免去繁琐的传统日志分析的流程,实时查看日志分析结果。通过日志的实时分析,您可以快速发现和定位问题,通过对日志数据的挖掘,提高数据的决策能力,将您的业务推向一个新的高度。
该方案有如下特点:
- 实时日志为实时采集的日志数据,日志数据延迟大部分情况为秒级
- 打通了日志服务分析的能力,为客户定制4张分析报表,帮助您快速对日志进行分析,发现问题,及时决策。
文档
体验优化
1. 接入向导功能优化
摘要
接入向导分隔符模式增加自定义配置quote功能,高级选项新增丢弃解析失败日志开关。
适用客户
开发者、运维人员
详细说明
接入向导在分隔符模式下可支持用户自定义配置quote转义符,同时高级选项内新增丢弃解析失败日志开关,开启后,解析失败的日志不上传到日志服务,关闭后,日志解析失败时上传原始日志。
2. 控制台优化
摘要
控制台功能体验增强,支持各实例中文设置,优化名称修改和图形显示等逻辑。
适用客户
开发者、运维人员
详细说明
- 快速查询,告警名称,告警字段,仪表盘名称支持中文设置
- 仪表盘页面可编辑仪表盘名称
- 快速查询详情开放名称修改功能
- 中国地图世界地图显示颜色优化
- markdown支持有序列表,无序列表
- 日志下载优化,动态生成命令行
- 线图优化,非双轴图的情况下可正常使用legend
- 日志查询页面全面优化渲染性能
- 日志查询页面内容列新增折叠相关配置,用户可以根据自身日志量合理调整折叠粒度
- 日志查询页面左侧资源树交互调整,扩大可视区域
- 表格类图表新增翻页组件,保障大limit条件下图表有稳定的渲染性能
- 时间选择新增今天(相对时间)、最新5分钟
- 国际站同步中文站部分功能
3. 控制台bug修复
- 分词符输入''导致出现多个''
- dashboard在只存在markdown的情况下无法显示标题
- 线图超过8条后,颜色显示异常
- dashboard添加,名称和图表名称相同情况下无法创建
- 流图配置在没有数据情况下导致页面卡死
- 存在markdown的仪表盘,点击刷新一直处于loading状态
- 修复桑基图在数据项为0情况下label重叠问题
- 修复矩形树图label显示过密问题
- 修复当前页选中点击标签页可能导致js报错问题
- 修复编辑markdown图表有可能导致图表重复渲染问题
- 修复左侧资源数查询后导致dashboard标题消失问题
- 修复仪表盘全屏模式下刷新会导致css样式错乱问题