带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(3)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(3)


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(2) https://developer.aliyun.com/article/1227224



4. 使用 API 快速使用 Single metric job

 

创建一个名为 first_detectors 的 job,指定 jobId、分桶策略(bucket_span)、检测器

(detector)、带有时间戳的字段名(time_field)。


PUT _ml/anomaly_detectors/first_detectors
{
  "description": "anomaly detector",
  "analysis_config": {
    "bucket_span": "15m",
    "detectors": [
      {
        "detector_description": "Sum of volume",
           "function": "sum",
        "field_name": "volume"
      }
    ]
  },
  "data_description": {
    "time_field": "date",
    "time_format": "epoch_ms"
  }
}

此时该 job 还没有 datafeed,创建一个 datafeed,并绑定一个上述 job。

PUT _ml/datafeeds/first-datafeed
{
  "job_id": "first_detectors",
  "indexes": [
    "zmc-test1"
  ],
  "scroll_size": 1000
}

此时 datafeed 的状态是 stopped,启动该 datafeed 任务(前提:保证异常检测 job 是

open 状态)。

 

POST _ml/datafeeds/first-datafeed/_start?start=1970-01-02T10:00:00Z&end=2021-09-09T00:00:00Z

 

5. 使用 Kibana 快速使用 Single metric job

 

打开 Kibana,按照下图步骤找到创建 job 的入口。

image.png


选择 index pattern。

image.png


选择 job 类型,Kibana 7.x 支持四种类型的机器学习 job,这里选择 Single metric,对单个索引字段进行分析、预测。

image.png


选择"Use full zmc-* data"(可以通过调整时间区间控制需要分析的时序数据)。

image.png


选择字段和聚合类型,继续选择桶粒度的配置,如下图推荐桶粒度的配置为 1d,可以手动改

 15m。

 

image.png


填写 job 信息,指定 jobId,选择 next 到下一步。


image.png


进入校验页面,校验数据和配置是否正确,选择 next 进入下一步,继续检查信息,选择

create job。


image.png

 可以看到这是通过 API 和 Kibana 创建的 job。

 

image.png



《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(4) https://developer.aliyun.com/article/1227220

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
12月前
|
机器学习/深度学习 存储 JSON
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
|
12月前
|
机器学习/深度学习 存储 运维
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
135 0
|
12月前
|
机器学习/深度学习 运维 安全
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)
|
12月前
|
机器学习/深度学习 运维 数据可视化
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(4)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(4)
110 0
|
12月前
|
存储 资源调度 NoSQL
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
121 0
|
12月前
|
数据可视化 NoSQL API
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
133 0
|
12月前
|
存储 自然语言处理 关系型数据库
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(14)
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(14)
|
12月前
|
存储
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(5)
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(5)
|
12月前
|
存储
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(8)
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(8)
|
12月前
|
存储
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(2)
带你读《Elastic Stack 实战手册》之40:——3.4.2.21.Aggregations(2)