带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

简介: 带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(1) https://developer.aliyun.com/article/1227225



三、常用 API 介绍

 

1.基本 API 简介,可以通过如下 API 操作 job 和 datafeed。

 

# 查看所有的异常检测job
GET _ml/anomaly_detectors
# close job
POST _ml/anomaly_detectors/first_detectors/_close
# open job
POST _ml/anomaly_detectors/first_detectors/_open
# close all job
POST _ml/anomaly_detectors/_all/_close
# 根据 job_id 删除 job
DELETE _ml/anomaly_detectors/first_detectors
# 查看所有的 datafeed
GET _ml/datafeeds
# stop datafeed
POST _ml/datafeeds/first-datafeed/_stop
# stop all datafeed
POST _ml/datafeeds/_all/_stop
# 删除 datafeed
DELETE _ml/datafeeds/first-datafeed

2.重新启动失败的异常检测 job。

2.1 强制停止 datafeed 任务。

POST _ml/datafeeds/first_detectors/_stop
{
  "force": "true"
}

2.2 强制关闭异常检测 job。

POST _ml/anomaly_detectors/first_detectors/_close?force=true

2.3 通过 API 打开 job 和 dataFeed,完成重启。


# 重新打开job
POST _ml/anomaly_detectors/first_detectors/_open
# start dataFeed任务
POST _ml/datafeeds/first-datafeed/_start?start=1970-01-02T10:00:00Z&end=2021-09-09T00:00:00Z

也可以通过 Kibana 的 Job management 模块完成 job 的重启。

 

2.4 如果重启依然失败则需要检测错误原因。


四、基本使用

 

1. 前提条件

1打开机器学习功能,机器学习功能为白金版,此处开启试用 30 天。

image.png

2集群中至少有一个开启机器学习功能的节点,且集群所有带 master 角色的 node 必须启用机器学习。默认情况下所有节点都是机器学习节点。


2. 数据准备

这里选择社区提供的用于测试的时序数据。

 

# 拉取社区分享的测试数据和脚本到本地
git clone https://github.com/liu-xiao-guo/machine_learning_data

 

# 对脚本进行一定的修改,执行脚本将数据写到 ES 集群
./cf_rfem_hist_price_bulk_index.sh

3. 创建异常检测 job 的方式

 

可以通过异常检测 API 或 Kibana 来创建异常检测 job。


3.1 使用 API 创建

 

前提条件:如果启用了 Elasticsearch 安全功能,必须拥有 manage_ml 或 manage 集群权限才能使用此 API。

 

注意事项:job 的相关数据是存在 .ml-config 内部索引,不允许通过 index 相关 API 直接往 .ml-config 索引插入数据。


3.2 使用 Kibana 创建

 

前提条件:提前创建好 index pattern 或者 saved search(dashboard 页面可以保存的

query 语句)。


image.png



《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(3) https://developer.aliyun.com/article/1227221

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
物联网 数据管理 传感器
Kaa IoT平台学习(一)
版权声明:您好,转载请留下本人博客的地址,谢谢 https://blog.csdn.net/hongbochen1223/article/details/72964894 kaa IoT开发平台概览 Kaa是一个用于物联网的多功能的中间件平台,他允许构建完全端到端IoT解决方案,连接的应用和智能产品。
4242 0
|
存储 数据采集 Prometheus
深入调查研究
【10月更文挑战第28天】
303 2
|
负载均衡 监控 网络虚拟化
|
搜索推荐 算法
模型小,还高效!港大最新推荐系统EasyRec:零样本文本推荐能力超越OpenAI、Bert
【9月更文挑战第21天】香港大学研究者开发了一种名为EasyRec的新推荐系统,利用语言模型的强大文本理解和生成能力,解决了传统推荐算法在零样本学习场景中的局限。EasyRec通过文本-行为对齐框架,结合对比学习和协同语言模型调优,提升了推荐准确性。实验表明,EasyRec在多个真实世界数据集上的表现优于现有模型,但其性能依赖高质量文本数据且计算复杂度较高。论文详见:http://arxiv.org/abs/2408.08821
601 7
|
机器学习/深度学习 人工智能 供应链
工业互联网平台
工业互联网平台
1380 3
|
监控 Java Perl
使用jstat工具来监控G1垃圾回收器的性能
使用jstat工具来监控G1垃圾回收器的性能
|
机器学习/深度学习 数据可视化
生存分析模型的时间依赖性ROC曲线可视化
生存分析模型的时间依赖性ROC曲线可视化
|
Web App开发 JSON 前端开发
网络调试利器:Chrome Network工具的详细指南
Chrome开发者工具的Network面板是测试工程师的利器,用于监视HTTP请求、响应及资源加载。打开它可通过右键点击页面选择“检查”或使用快捷键。界面包含请求列表和详细信息,如Headers、Preview、Response、Timing。过滤器帮助定位特定请求,而瀑布流图展示加载顺序。模拟网络环境和保存HAR文件功能便于性能分析和问题排查。
|
JavaScript Serverless 测试技术
函数计算怎么实现本地部署?如何本地部署Serverless Devs?
函数计算怎么实现本地部署?如何本地部署Serverless Devs?
691 1
|
机器学习/深度学习 物联网 大数据

热门文章

最新文章

下一篇
开通oss服务