带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(1) https://developer.aliyun.com/article/1227225



三、常用 API 介绍

 

1.基本 API 简介,可以通过如下 API 操作 job 和 datafeed。

 

# 查看所有的异常检测job
GET _ml/anomaly_detectors
# close job
POST _ml/anomaly_detectors/first_detectors/_close
# open job
POST _ml/anomaly_detectors/first_detectors/_open
# close all job
POST _ml/anomaly_detectors/_all/_close
# 根据 job_id 删除 job
DELETE _ml/anomaly_detectors/first_detectors
# 查看所有的 datafeed
GET _ml/datafeeds
# stop datafeed
POST _ml/datafeeds/first-datafeed/_stop
# stop all datafeed
POST _ml/datafeeds/_all/_stop
# 删除 datafeed
DELETE _ml/datafeeds/first-datafeed

2.重新启动失败的异常检测 job。

2.1 强制停止 datafeed 任务。

POST _ml/datafeeds/first_detectors/_stop
{
  "force": "true"
}

2.2 强制关闭异常检测 job。

POST _ml/anomaly_detectors/first_detectors/_close?force=true

2.3 通过 API 打开 job 和 dataFeed,完成重启。


# 重新打开job
POST _ml/anomaly_detectors/first_detectors/_open
# start dataFeed任务
POST _ml/datafeeds/first-datafeed/_start?start=1970-01-02T10:00:00Z&end=2021-09-09T00:00:00Z

也可以通过 Kibana 的 Job management 模块完成 job 的重启。

 

2.4 如果重启依然失败则需要检测错误原因。


四、基本使用

 

1. 前提条件

1打开机器学习功能,机器学习功能为白金版,此处开启试用 30 天。

image.png

2集群中至少有一个开启机器学习功能的节点,且集群所有带 master 角色的 node 必须启用机器学习。默认情况下所有节点都是机器学习节点。


2. 数据准备

这里选择社区提供的用于测试的时序数据。

 

# 拉取社区分享的测试数据和脚本到本地
git clone https://github.com/liu-xiao-guo/machine_learning_data

 

# 对脚本进行一定的修改,执行脚本将数据写到 ES 集群
./cf_rfem_hist_price_bulk_index.sh

3. 创建异常检测 job 的方式

 

可以通过异常检测 API 或 Kibana 来创建异常检测 job。


3.1 使用 API 创建

 

前提条件:如果启用了 Elasticsearch 安全功能,必须拥有 manage_ml 或 manage 集群权限才能使用此 API。

 

注意事项:job 的相关数据是存在 .ml-config 内部索引,不允许通过 index 相关 API 直接往 .ml-config 索引插入数据。


3.2 使用 Kibana 创建

 

前提条件:提前创建好 index pattern 或者 saved search(dashboard 页面可以保存的

query 语句)。


image.png



《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(3) https://developer.aliyun.com/article/1227221

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
机器学习/深度学习 存储 运维
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
142 0
|
机器学习/深度学习 运维 API
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(3)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(3)
|
机器学习/深度学习 存储 JSON
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
100 0
|
机器学习/深度学习 运维 数据可视化
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(4)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(4)
113 0
|
数据可视化 NoSQL API
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
138 0
|
存储 资源调度 NoSQL
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
124 0
|
存储 缓存 安全
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
110 0
|
存储 API 项目管理
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
|
监控 API 调度
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
102 0

热门文章

最新文章