带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

简介: 带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(2)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(1) https://developer.aliyun.com/article/1227225



三、常用 API 介绍

 

1.基本 API 简介,可以通过如下 API 操作 job 和 datafeed。

 

# 查看所有的异常检测job
GET _ml/anomaly_detectors
​
# close job
POST _ml/anomaly_detectors/first_detectors/_close
​
# open job
POST _ml/anomaly_detectors/first_detectors/_open
​
# close all job
POST _ml/anomaly_detectors/_all/_close
​
# 根据 job_id 删除 job
DELETE _ml/anomaly_detectors/first_detectors
# 查看所有的 datafeed
GET _ml/datafeeds
​
# stop datafeed
POST _ml/datafeeds/first-datafeed/_stop
​
# stop all datafeed
POST _ml/datafeeds/_all/_stop
​
# 删除 datafeed
DELETE _ml/datafeeds/first-datafeed

2.重新启动失败的异常检测 job。

2.1 强制停止 datafeed 任务。

POST _ml/datafeeds/first_detectors/_stop
{
  "force": "true"
}

2.2 强制关闭异常检测 job。

POST _ml/anomaly_detectors/first_detectors/_close?force=true

2.3 通过 API 打开 job 和 dataFeed,完成重启。


# 重新打开job
POST _ml/anomaly_detectors/first_detectors/_open
​
# start dataFeed任务
POST _ml/datafeeds/first-datafeed/_start?start=1970-01-02T10:00:00Z&end=2021-09-09T00:00:00Z

也可以通过 Kibana 的 Job management 模块完成 job 的重启。

 

2.4 如果重启依然失败则需要检测错误原因。


四、基本使用

 

1. 前提条件

1、打开机器学习功能,机器学习功能为白金版,此处开启试用 30 天。

image.png

2、集群中至少有一个开启机器学习功能的节点,且集群所有带 master 角色的 node 必须启用机器学习。默认情况下所有节点都是机器学习节点。


2. 数据准备

这里选择社区提供的用于测试的时序数据。

 

# 拉取社区分享的测试数据和脚本到本地
git clone https://github.com/liu-xiao-guo/machine_learning_data

 

# 对脚本进行一定的修改,执行脚本将数据写到 ES 集群
./cf_rfem_hist_price_bulk_index.sh

3. 创建异常检测 job 的方式

 

可以通过异常检测 API 或 Kibana 来创建异常检测 job。


3.1 使用 API 创建

 

前提条件:如果启用了 Elasticsearch 安全功能,必须拥有 manage_ml 或 manage 集群权限才能使用此 API。

 

注意事项:job 的相关数据是存在 .ml-config 内部索引,不允许通过 index 相关 API 直接往 .ml-config 索引插入数据。


3.2 使用 Kibana 创建

 

前提条件:提前创建好 index pattern 或者 saved search(dashboard 页面可以保存的

query 语句)。


image.png



《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.3.Anomaly detection(3) https://developer.aliyun.com/article/1227221

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
算法 数据安全/隐私保护 Python
哈希算法(hash)加密解密
哈希算法(hash)加密解密
12718 11
哈希算法(hash)加密解密
kettle开发篇-switch case
kettle开发篇-switch case
1049 0
kettle开发篇-switch case
|
Linux 异构计算 Windows
Windows操作系统:指定网卡ping连通性
某些时候,板卡上留有两个及以上万兆网口,在没有其他FPGA板卡或者只是想测一下网口或者万兆光模块的通路时,可以通过回环互ping来验证下连通性
5310 0
|
数据采集 人工智能 缓存
2025年,告别手动数据爬取,Coze AI Agent助你全程无忧!
本文介绍如何利用Coze AI Agent构建智能数据采集方案,实现从网站抓取到数据清洗、存储的全流程自动化。通过可视化工作流设计,该方案可将人工日均处理量从不足百条提升至无限制自动采集,大幅提升数据工作效率。
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
1101 90
|
机器学习/深度学习 人工智能 编解码
StereoCrafter:腾讯开源将任意2D视频转换为立体3D视频的框架,适用于Apple Vision Pro等多种显示设备
StereoCrafter 是腾讯开源的框架,能够将单目2D视频转换为高保真度的立体3D视频,适用于多种显示设备。
1850 8
StereoCrafter:腾讯开源将任意2D视频转换为立体3D视频的框架,适用于Apple Vision Pro等多种显示设备
|
负载均衡 监控 网络虚拟化
|
弹性计算 监控 安全
打造安全云环境:深入理解阿里云权限体系
本文将探讨阿里云上的权限管理,帮助理解其背后原理并掌握实践方法。主要内容分为三部分:一是访问控制基本原理,强调避免使用root身份,介绍权限策略语言和类型;二是五种典型的授权方式,包括服务级、操作级和资源级授权等;三是多账号环境下的集中化权限管理,重点介绍如何使用管控策略实现安全合规的集中管控。通过这些内容,用户可以更好地理解和应用阿里云的权限管理体系,确保云资源的安全与高效管理。
|
搜索推荐 算法
模型小,还高效!港大最新推荐系统EasyRec:零样本文本推荐能力超越OpenAI、Bert
【9月更文挑战第21天】香港大学研究者开发了一种名为EasyRec的新推荐系统,利用语言模型的强大文本理解和生成能力,解决了传统推荐算法在零样本学习场景中的局限。EasyRec通过文本-行为对齐框架,结合对比学习和协同语言模型调优,提升了推荐准确性。实验表明,EasyRec在多个真实世界数据集上的表现优于现有模型,但其性能依赖高质量文本数据且计算复杂度较高。论文详见:http://arxiv.org/abs/2408.08821
781 7
|
机器学习/深度学习 人工智能 供应链
工业互联网平台
工业互联网平台
1616 3

热门文章

最新文章