AI 助理
备案控制台
开发者社区 人工智能 文章 正文

python时间序列异常检测ADTK

2024-05-19 515
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： `adtk`是Python中用于无监督时间序列异常检测的工具包，包含简单算法、特征加工和流程控制。安装使用`pip install adtk`。数据要求为`DatetimeIndex`格式。异常检测包括滑动窗口统计特征、季节性拆解、降维和重构。提供了ThresholdAD、QuantileAD、InterQuartileRangeAD、GeneralizedESDTestAD等离群点检测算法，以及PersistAD和LevelShiftAD检测突变。此外，SeasonalAD用于季节性异常检测，Pipeline可组合多种算法。5月更文挑战第16天

python时间序列异常检测ADTK

1. adtk简介

智能运维AIOps的数据基本上都是时间序列形式的，而异常检测告警是AIOps中重要组成部分。笔者最近在处理时间序列数据时有使用到adtk这个python库，在这里和大家做下分享。

什么是adtk?

adtk（Anomaly Detection Toolkit）是无监督异常检测的python工具包，它提供常用算法和处理函数：

  • 简单有效的异常检测算法（detector）
  • 异常特征加工（transformers）
  • 处理流程控制（Pipe）

2. 安装

pip install adtk

3. adtk数据要求

时间序列的数据主要包括时间和相应的指标（如cpu，内存，数量等）。python中数据分析一般都是pandas的DataFrame，adtk要求输入数据的索引必须是DatetimeIndex。

pandas提供了时间序列的时间生成和处理方法。

  • pd.date_range

      stamps = pd.date_range("2012-10-08 18:15:05", periods=4, freq="D")
  # DatetimeIndex(['2012-10-08 18:15:05', '2012-10-09 18:15:05',
  #           '2012-10-10 18:15:05', '2012-10-11 18:15:05'],
  #          dtype='datetime64[ns]', freq='D')

  • pd.Timestamp

      tmp = pd.Timestamp("2018-01-05") + pd.Timedelta("1 day")
  print(tmp, tmp.timestamp(), tmp.strftime('%Y-%m-%d'))
  # 2018-01-06 00:00:00 1515196800.0 2018-01-06
  pd.Timestamp( tmp.timestamp(), unit='s', tz='Asia/Shanghai')
  # Timestamp('2018-01-06 08:00:00+0800', tz='Asia/Shanghai')
  • pd.to_datetime

adtk提供是validate_series来验证时间序列数据的有效性，如是否按时间顺序

import pandas as pd
from adtk.data import validate_series
from adtk.visualization import plot
df = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp", parse_dates=True)
df = validate_series(df)
plot(df)

md-2021-03-28-14-03-12.png
md-2021-03-28-14-02-54.png

4. 异常特征加工（transformers）

adtk中transformers提供了许多时间序列特征加工的方法：

  • 一般我们获取时间序列的特征，通常会按照时间窗口在滑动，采集时间窗口上的统计特征；
  • 还有对于季节性趋势做分解，区分哪些是季节性的部分，哪些是趋势的部分
  • 时间序列降维映射：对于细粒度的时间序列数据，数据量大，对于检测算法来说效率不高。降维方法能保留时间序列的主要趋势等特征同时，降低维数，提供时间效率。这个对于用CNN的方式来进行时间序列分类特别有效，adtk主要提供基于pca的降维和重构方法,主要应用于多维时间序列。

4.1 滑动窗口

atdk提供单个宽口RollingAggregate和2个窗口DoubleRollingAggregate的滑动方式。统计特征支持均值，中位数，汇总，最大值，最小值，分位数， 方差，标准差，偏度，峰度，直方图 等，['mean', 'median', 'sum', 'min', 'max', 'quantile', 'iqr', 'idr', 'count', 'nnz', 'nunique', 'std', 'var', 'skew', 'kurt', 'hist']
其中

  • 'iqr': 是分位数 75% 和 25%差值
  • 'idr': 是分位数 90% 和 10%插值

  • RollingAggregate

      import pandas as pd
  from adtk.data import validate_series
  from adtk.transformer import RollingAggregate
  from adtk.transformer import DoubleRollingAggregate
  s = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp", parse_dates=True)
  s = validate_series(s)

  s_transformed = RollingAggregate(agg='quantile',agg_params={
     
     "q": [0.25, 0.75]}, window=5).transform(s)

    md-2021-03-28-14-32-19.png

  • DoubleRollingAggregate
    提供了两个窗口之间统计特征的差异特征，如前5分钟和后5分钟，均值的差值等。agg参数和RollingAggregate中一致，新增的参数diff主要衡量差距的函数：

    • 'diff': 后减去前
    • 'rel_diff': Relative difference between values of aggregated metric
      (right minus left divided left). Only applicable if the aggregated
      metric is scalar.
    • 'abs_rel_diff': （后-前）/前， 相对差值
    • 'l1': l1正则

    • 'l2': l2正则

      import pandas as pd
from adtk.data import validate_series
from adtk.transformer import DoubleRollingAggregate
s = pd.read_csv('./data/ec2_cpu_utilization_53ea38.csv', index_col="timestamp", parse_dates=True)
s = validate_series(s)

s_transformed = DoubleRollingAggregate(
  agg="median",
  window=5,
  diff="diff").transform(s)

      md-2021-03-28-14-42-36.png

4.2 季节性拆解

时间序列可拆解成趋势性，季节性和残差部分。atdk中ClassicSeasonalDecomposition提供了这三个部分拆解，并移除趋势和季节性部分，返回残差部分。

  • freq: 设置季节性的周期
  • trend： 可以设置是否保留趋势性
from adtk.transformer import ClassicSeasonalDecomposition

s = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp", parse_dates=True)
s = validate_series(s)

s_transformed = ClassicSeasonalDecomposition().fit_transform(s)

md-2021-03-28-15-33-38.png

s_transformed = ClassicSeasonalDecomposition(trend=True).fit_transform(s)

md-2021-03-28-15-36-29.png

4.3 降维和重构

adtk提供的pca对数据进行降维到主成分PcaProjection和重构方法PcaReconstruction。

df = pd.read_csv('./data/generator.csv', index_col="Time", parse_dates=True)
df = validate_series(df)

from adtk.transformer import PcaProjection
s = PcaProjection(k=1).fit_transform(df)
plot(pd.concat([df, s], axis=1), ts_linewidth=1, ts_markersize=3, curve_group=[("Speed (kRPM)", "Power (kW)"), "pc0"]);

md-2021-03-28-15-49-00.png

from adtk.transformer import PcaReconstruction
df_transformed = PcaReconstruction(k=1).fit_transform(df).rename(columns={
   
   "Speed (kRPM)": "Speed reconstruction (kRPM)", "Power (kW)": "Power reconstruction (kW)"})
plot(pd.concat([df, df_transformed], axis=1), ts_linewidth=1, ts_markersize=3, curve_group=[("Speed (kRPM)", "Power (kW)"), ("Speed reconstruction (kRPM)", "Power reconstruction (kW)")]);
../_images/notebooks_demo_99_0.png

md-2021-03-28-15-49-15.png

5. 异常检测算法（detector）

adtk提供的主要是无监督或者基于规则的时间序列检测算法，可以用于常规的异常检测。

  • 检测离群点
    离群点是和普通数据差异极大的数据点。adtk主要提供了包括 adtk.detector.ThresholdAD adtk.detector.QuantileAD adtk.detector.InterQuartileRangeAD adtk.detector.GeneralizedESDTestAD的检测算法。

    • ThresholdAD

        adtk.detector.ThresholdAD(low=None, high=None)
  参数：
  low：下限，小于此值，视为异常
  high：上限，大于此值，视为异常
  原理：通过认为设定上下限来识别异常
  总结：固定阈值算法

        from adtk.detector import ThresholdAD
  threshold_ad = ThresholdAD(high=30, low=15)
  anomalies = threshold_ad.detect(s)

      md-2021-03-28-20-02-14.png

    • QuantileAD

        adtk.detector.QuantileAD(low=None, high=None)
  参数：
  low：分位下限，范围(0,1)，当low=0.25时，表示Q1
  high：分位上限，范围(0,1)，当low=0.25时，表示Q3
  原理：通过历史数据计算出给定low与high对应的分位值Q_low,Q_high，小于Q_low或大于Q_high，视为异常
  总结：分位阈值算法

        from adtk.detector import QuantileAD
  quantile_ad = QuantileAD(high=0.99, low=0.01)
  anomalies = quantile_ad.fit_detect(s)

      md-2021-03-28-20-11-32.png

    • InterQuartileRangeAD

        adtk.detector.InterQuartileRangeAD(c=3.0)
  参数：
  c：分位距的系数，用来确定上下限，可为float，也可为(float,float)
  原理：
  当c为float时，通过历史数据计算出 Q3+c*IQR 作为上限值，大于上限值视为异常
  当c=(float1,float2)时，通过历史数据计算出 (Q1-c1*IQR, Q3+c2*IQR) 作为正常范围，不在正常范围视为异常
  总结：箱线图算法

        from adtk.detector import InterQuartileRangeAD
  iqr_ad = InterQuartileRangeAD(c=1.5)
  anomalies = iqr_ad.fit_detect(s)

      md-2021-03-28-19-55-06.png

- GeneralizedESDTestAD
    ``` shell
    adtk.detector.GeneralizedESDTestAD(alpha=0.05)
    参数：
    alpha：显著性水平 (Significance level)，alpha越小，表示识别出的异常约有把握是真异常
    原理:将样本点的值与样本的均值作差后除以样本标准差，取最大值，通过t分布计算阈值，对比阈值确定异常点

    计算步骤简述：
    设置显著水平alpha，通常取0.05
    指定离群比例h，若h=5%，则表示50各样本中存在离群点数为2
    计算数据集的均值mu与标准差sigma，将所有样本与均值作差，取绝对值，再除以标准差，找出最大值，得到esd_1
    在剩下的样本点中，重复步骤3，可以得到h个esd值
    为每个esd值计算critical value: lambda_i (采用t分布计算)
    统计每个esd是否大于lambda_i，大于的认为你是异常
    ```
    ``` python
    from adtk.detector import GeneralizedESDTestAD
    esd_ad = GeneralizedESDTestAD(alpha=0.3)
    anomalies = esd_ad.fit_detect(s)
    ```
    ![md-2021-03-28-20-15-49.png](https://ucc.alicdn.com/pic/developer-ecology/abb7gqinvjggw_76ba78626a37468c937c14d6934551d4.png)

  • 突变：Spike and Level Shift
    异常的表现形式不是离群点，而是通过和临近点的比较，即突增或者突降。adtk提供adtk.detector.PersistAD 和 adtk.detector.LevelShiftAD检测方法

    • PersistAD

        adtk.detector.PersistAD(window=1, c=3.0, side='both', min_periods=None, agg='median')
  参数：
  window：参考窗长度，可为int, str
  c：分位距倍数，用于确定上下限范围
  side：检测范围，为'positive'时检测突增，为'negative'时检测突降，为'both'时突增突降都检测
  min_periods：参考窗中最小个数，小于此个数将会报异常，默认为None，表示每个时间点都得有值
  agg：参考窗中的统计量计算方式，因为当前值是与参考窗中产生的统计量作比较，所以得将参考窗中的数据计算成统计量，默认'median'，表示去参考窗的中位值

  原理：
  用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量做差，得到一个新的时间序列s1;
  计算s1的(Q1-c*IQR, Q3+c*IQR) 作为正常范围；
  若当前值与它参考窗中的统计量之差，不在2中的正常范围内，视为异常。

  调参：
  window：越大，模型越不敏感，不容易被突刺干扰
  c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小
  min_periods：对缺失值的容忍程度，越大，越不允许有太多的缺失值
  agg：统计量的聚合方式，跟统计量的特性有关，如 'median'不容易受极端值影响
  总结：先计算一条新的时间序列，再用箱线图作异常检测

        from adtk.detector import PersistAD
  persist_ad = PersistAD(c=3.0, side='positive')
  anomalies = persist_ad.fit_detect(s)

      md-2021-03-28-20-17-02.png

    • LevelShiftAD

        adtk.detector.LevelShiftAD(window, c=6.0, side='both', min_periods=None)

  参数：
  window：支持(10,5)，表示使用两个相邻的滑动窗，左侧的窗中的中位值表示参考值，右侧窗中的中位值表示当前值
  c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小，默认6.0
  side：检测范围，为'positive'时检测突增，为'negative'时检测突降，为'both'时突增突降都检测
  min_periods：参考窗中最小个数，小于此个数将会报异常，默认为None，表示每个时间点都得有值

  原理：
  该模型用于检测突变情况，相比于PersistAD，其抗抖动能力较强，不容易出现误报

        from adtk.detector import LevelShiftAD
  level_shift_ad = LevelShiftAD(c=6.0, side='both', window=5)
  anomalies = level_shift_ad.fit_detect(s)

      md-2021-03-28-20-18-03.png

  • 季节性

    • adtk.detector.SeasonalAD 
        adtk.detector.SeasonalAD(freq=None, side='both', c=3.0, trend=False)
  SeasonalAD主要是根据ClassicSeasonalDecomposition来处理，判断。
  参数：
  freq：季节性周期
  c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小，默认6.0
  side：检测范围，为'positive'时检测突增，为'negative'时检测突降，为'both'时突增突降都检测
  trend： 是否考虑趋势

        from adtk.detector import SeasonalAD
  seasonal_ad = SeasonalAD(c=3.0, side="both")
  anomalies = seasonal_ad.fit_detect(s)
  plot(s, anomaly=anomalies, ts_markersize=1, anomaly_color='red', anomaly_tag="marker", anomaly_markersize=2);
      md-2021-03-28-20-18-51.png

  • pipe 组合算法

      from adtk.pipe import Pipeline
  steps = [
      ("deseasonal", ClassicSeasonalDecomposition()),
      ("quantile_ad", QuantileAD(high=0.995, low=0.005))
  ]
  pipeline = Pipeline(steps)
  anomalies = pipeline.fit_detect(s)
  plot(s, anomaly=anomalies, ts_markersize=1, anomaly_markersize=2, anomaly_tag="marker", anomaly_color='red');

    md-2021-03-28-20-22-46.png

6. 总结

本文介绍了时间序列异常检测的无监督算法工具包ADTK。ADTK提供了简单的异常检测算法和时间序列特征加工函数，希望对你有帮助。总结如下：

  • adtk要求输入数据为datetimeIndex，validate_series来验证数据有效性，使得时间有序
  • adtk单窗口和double窗口滑动，加工统计特征
  • adtk分解时间序列的季节部分，获得时间序列的残差部分，可根据这个判断异常点
  • adtk支持离群点、突变和季节性异常检测。通过fit_detect 获取异常点序列，也可以通过Pipeline联通多部异常检测算法
文章标签：
云原生大数据计算服务 MaxCompute
运维
算法
Python
机器学习/深度学习
数据挖掘
关键词：
Python检测
Python异常检测
Python时间序列
Python异常
Python序列
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
AIweker
目录
相关文章
Deephub
|
25天前
|
传感器 运维 前端开发
Python离群值检测实战：使用distfit库实现基于分布拟合的异常检测
本文解析异常（anomaly）与新颖性（novelty）检测的本质差异，结合distfit库演示基于概率密度拟合的单变量无监督异常检测方法，涵盖全局、上下文与集体离群值识别，助力构建高可解释性模型。
Deephub
220 10
Python离群值检测实战：使用distfit库实现基于分布拟合的异常检测
Deephub
|
7月前
|
运维 监控 算法
时间序列异常检测：MSET-SPRT组合方法的原理和Python代码实现
MSET-SPRT是一种结合多元状态估计技术（MSET）与序贯概率比检验（SPRT）的混合框架，专为高维度、强关联数据流的异常检测设计。MSET通过历史数据建模估计系统预期状态，SPRT基于统计推断判定偏差显著性，二者协同实现精准高效的异常识别。本文以Python为例，展示其在模拟数据中的应用，证明其在工业监控、设备健康管理及网络安全等领域的可靠性与有效性。
Deephub
899 13
时间序列异常检测：MSET-SPRT组合方法的原理和Python代码实现
鱼的爱情看不出泪水
|
3月前
|
监控 编译器 Python
如何利用Python杀进程并保持驻留后台检测
本教程介绍如何使用Python编写进程监控与杀进程脚本，结合psutil库实现后台驻留、定时检测并强制终止指定进程。内容涵盖基础杀进程、多进程处理、自动退出机制、管理员权限启动及图形界面设计，并提供将脚本打包为exe的方法，适用于需持续清理顽固进程的场景。
鱼的爱情看不出泪水
181 6
Deephub
|
9月前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python实现基于矩阵分解的长期事件(MFLEs)时间序列分析
在现代数据分析中，高维时间序列数据的处理和预测极具挑战性。基于矩阵分解的长期事件（MFLEs）分析技术应运而生，通过降维和时间序列特性结合，有效应对大规模数据。MFLE利用矩阵分解提取潜在特征，降低计算复杂度，过滤噪声，并发现主要模式。相比传统方法如ARIMA和深度学习模型如LSTM，MFLE在多变量处理、计算效率和可解释性上更具优势。通过合理应用MFLE，可在物联网、金融等领域获得良好分析效果。
Deephub
310 0
使用Python实现基于矩阵分解的长期事件(MFLEs)时间序列分析
Deephub
|
5月前
|
数据可视化 数据挖掘 数据安全/隐私保护
Python实现时间序列动量策略：波动率标准化让量化交易收益更平稳
时间序列动量策略（TSMOM）是一种基于资产价格趋势的量化交易方法，通过建立多头或空头头寸捕捉市场惯性。然而，传统TSMOM策略因风险敞口不稳定而面临收益波动问题。波动率调整技术通过动态调节头寸规模，维持恒定风险水平，优化了策略表现。本文系统分析了波动率调整TSMOM的原理、实施步骤及优势，强调其在现代量化投资中的重要地位，并探讨关键参数设定与实际应用考量，为投资者提供更平稳的风险管理体验。
Deephub
227 4
Python实现时间序列动量策略：波动率标准化让量化交易收益更平稳
大数据文摘
|
5月前
|
人工智能 C# Python
处理python异常
本文介绍了Python中的异常处理机制，并实现了一个简单的异常装饰器。通过`try/except`语句捕获异常，结合`finally`子句完成清理工作。为进一步优化代码结构，文章提出了使用装饰器处理异常的方法，避免函数中大量冗长的异常处理语句。通过类封装异常装饰器，多个函数可共享异常处理逻辑，提升代码简洁性和可维护性。总结强调了装饰器在异常处理中的优势，使代码更加优雅高效。
大数据文摘
135 27
游客b5iyohck2lc4w
|
6月前
|
Python
如何处理python的常见异常问题
在Python语言中，python异常处理机制主要依赖try、except、else、finally和raise五个关键字。本篇文章将为大家详细讲解一下如何处理python的常见异常问题。
游客b5iyohck2lc4w
134 6
站大爷
|
5月前
|
存储 数据采集 大数据
Python推导式进阶指南：优雅初始化序列的科学与艺术
本文系统讲解Python推导式的用法与技巧，涵盖列表、字典、集合推导式及生成器表达式。通过代码示例和性能对比，展示推导式在数据结构初始化中的优势：简洁高效、执行速度快30%-50%。文章分析基础语法、核心应用场景（如序列构造、键值对转换、去重运算）及嵌套使用，并探讨使用边界与最佳实践，强调可读性优先原则。最后指出，合理运用推导式能显著提升代码质量和处理效率，同时避免过度复杂化的陷阱。
站大爷
140 0
overmind1980
|
8月前
|
人工智能 Shell 开发工具
[oeasy]python065python报错怎么办_try_试着来_except_发现异常
本文介绍了Python中处理异常的基本方法，重点讲解了`try`和`except`的用法。通过一个计算苹果重量的小程序示例，展示了如何捕获用户输入错误并进行处理。主要内容包括： 1. **回顾上次内容**：简要回顾了Shell环境、Python3游乐场和Vim编辑器的使用。 2. **编写程序**：编写了一个简单的程序来计算苹果的总重量，但发现由于输入类型问题导致结果错误。 3. **调试与修正**：通过调试发现输入函数返回的是字符串类型，需要将其转换为整数类型才能正确计算。
overmind1980
157 32
平凡程序猿~
|
8月前
|
存储 索引 Python
Python入门：6.深入解析Python中的序列
在 Python 中，**序列**是一种有序的数据结构，广泛应用于数据存储、操作和处理。序列的一个显著特点是支持通过**索引**访问数据。常见的序列类型包括字符串（`str`）、列表（`list`）和元组（`tuple`）。这些序列各有特点，既可以存储简单的字符，也可以存储复杂的对象。 为了帮助初学者掌握 Python 中的序列操作，本文将围绕**字符串**、**列表**和**元组**这三种序列类型，详细介绍其定义、常用方法和具体示例。
平凡程序猿~
294 2
Python入门：6.深入解析Python中的序列

热门文章

最新文章

  • 1
    唯品会item_search - 按关键字搜索 VIP 商品接口深度分析及 Python 实现
  • 2
    Python爬虫技术：从基础到实战的完整教程
  • 3
    5分钟学会用Python爬取知乎热榜：从零开始的实战指南
  • 4
    唯品会 item_get - 获得 VIP 商品详情接口深度分析及 Python 实现
  • 5
    Python神技：用列表推导式让你的代码更优雅
  • 6
    告别 os.path 的繁琐：拥抱 Python 的 pathlib
  • 7
    Python字典：高效数据管理的瑞士军刀
  • 8
    （Python基础）新时代语言！一起学习Python吧！（一）：认识Python、Py解释器作用；编写第一个Python程序；Python中的基本数据结构
  • 9
    淘宝商品详情接口（item_get）企业级全解析：参数配置、签名机制与 Python 代码实战
  • 10
    超越`open()`：深入理解Python的`with`语句
  • 1
    Python中的列表推导式：简洁高效的数据处理艺术
    232
  • 2
    Python字符串格式化利器：f-strings入门指南
    264
  • 3
    Python列表推导式：简洁高效的数据处理利器
    271
  • 4
    Python高效字符串格式化：f-strings的魅力
    197
  • 5
    掌握Python装饰器：轻松统计函数执行时间
    307
  • 6
    Python f-strings：让字符串格式化更简洁高效！
    248
  • 7
    Python爬取招标信息并生成可视化分析报告
    381
  • 8
    用 Python 制作简单小游戏教程：手把手教你开发猜数字游戏
    439
  • 9
    Python3.14正式支持Free Threaded版本！
    522
  • 10
    Python web Django快速入门手册全栈版，共2590字，短小精悍
    143

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 推荐镜像

    更多
  • python-release
    • 下一篇
    阿里云oss简介和如何对接使用