带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(上)

简介: 带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(上)

3.5.16. Machine learning

3.5.16.1.Setup and security

创作人:管辉俊

审稿人:胡征南

 

什么是机器学习

 

机器学习是使用 Elasticsearch 集群中存在的数据,通过无监督的方法来构建数据模型。通过将(新的或替代的)数据与模型进行比较并识别数据中的异常模式或行为,它可以自动分析时间序列数据。在 Elasticsearch 的机器学习中,机器学习实习如下的功能:

 

l 异常检测

l 异常打分 (分数介于0到100之间,分数越高,代表越不正常)

 

在我们觉得是否使用机器学习之前,需要验证将使用的数据的适用性。在使用 Elasticsearch 机器学习之前,你必须考虑如下的三件事:

 

l 你的数据是否是一个时间系列的数据

l 数据需要包含对用例至关重要的关键性能指标(KPI)

l 数据的位置

 

事实上,你也可以通过机器学习的 API 接口来分析你的数据。这个工作并不一定小在 Kibana 中来完成。为了发现数据的异常,定义自己的数据的 KPI 是非常重要的一个环节。这些 KPI 指标,可以是:

 

l 在规定的一段时间里,日志的数量

l 在规定的一段时间里,所收到的 404 响应值


l 在规定的一段时间里,磁盘的使用量

 

IT 组织选择用于跟踪和标记的 KPI 可以跨越各种指标,包括以下各项:

 

l 客户:影响指标,例如应用程序响应时间或错误计数

l 可用性:面向指标,例如正常运行时间或平均维修时间(MTTR)

l 业务:面向指标,例如每分钟订单数,收入或活跃用户数

 

定义了 KPI 后,将对此 KPI 进行分析(平均值,最大值,计数等)。 分析功能和 KPI 的组合将称为检测器。我们可以为数据定义 Single Metric 或 Multi Metric 的检测器以检查数据中的异常情况。

 

机器学习另外一个很重要的功能就是预测所分析时序数据的未来发展趋势。一但我们建立了机器学习的作业之后,我们就可以进行预测。除了使用 Kibana 的界面进行预测之外,Elasticsearch 也提供 API 接口来实现。在使用这个功能时,你需要提供相应的时间段来进行预测。

——————————————————————————————————————————————

版权声明:本文为CSDN博主「Elastic 中国社区官方博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/UbuntuTouch/article/details/102788922

 

安装机器学习功能特性

 

使用 Elastic Stack 机器学习功能,你必须订阅并购买相关的功能特性,并且集群中至少有一个机器学习节点。

 

若要 Elastic Stack 具有安全性,那么必须要确保用户有必要的权限。如果启用操作人员权限功能,那么某些机器学习设置只能由操作员用户进行更新设置。

 

启用 Platinum 功能


如果我们从官方网站下载 Elasticsearch 并安装使用,它将是基本版本。我们必须激活30天试用许可证才能使用 Platinum 功能。

 

按照如下的步骤来启动 Platinum 功能:

 

l 打开 Kibana 选择 Management (管理界面)

l 点击 License management (许可证管理界面)

l 选择 Start a 30-day trial (试用版),进而获得 Platinum 功能。



机器学习节点

 

要使用 Elastic Stack 机器学习功能,在集群中必须要有至少一个机器学习节点。机器学习节点是将 node.roles 中添加ml角色,并且将 xpack.ml.enabled 属性设置为 true。如果 node.roles 中没有 ml 角色,则无法使用机器学习功能。

 

Elasticsearch 和 Kibana 的 ml.enabled 属性默认是 true

 

通过 Kibana 看下不同版本的 Elasticsearch 集群上节点的角色:

 

使用命令:


GET _cat/nodes?v

6.0版本返回结果


node.role : mdi

7.9 以上版本返回结果

node.role : dilmrt

Elasticsearch 的节点有下面几种角色:

 

l master

l data

l ingest

l ml

l remote_cluster_client

l transform

 

角色 mdi,即 master、data 以及 ingest 三种角色,这是 Elasticsearch 自从 6.x 以来最基础的三种角色,7.9 以上版本的 dilmrt 就是对应着上面的六种全部的角色。其余的三种角色是ml 以及 transform 是因为 x-pack 插件的引入而带来的。


 

 《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.1.Setup and security(下) https://developer.aliyun.com/article/1227333

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
算法 数据挖掘 Python
使用python实现FP-Growth算法
使用python实现FP-Growth算法
736 0
|
6月前
|
机器学习/深度学习 数据采集 数据处理
【电池容量提取+锂电池寿命预测】 基于Transformer-LSTM的锂电池剩余寿命预测附Matlab代码(单变量)
​ ✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。 🍎 往期回顾关注个人主页:Matlab科研工作室  👇 关注我领取海量matlab电子书和数学建模资料  🍊个人信条:格物致知,完整Matlab代码获取及仿真咨询内容私信。 🔥 内容介绍  锂电池凭借诸多优势,成为多种设备的核心动力源。但由于其衰减过程受材料特性、工作温度等多种因素耦合影响,具有强非线性、非平稳性,且存在个体差异,传统预测方法难以精准刻画其衰减特性,预测精度和泛化能力不足。而深度学习技术的发展为锂电池 RUL 预测提供了
316 3
|
图形学 开发者
unity 从工具栏拖动生成物体
在 Unity 中实现从工具栏拖动生成物体的功能,基于编辑器扩展、事件系统和预制体实例化。通过自定义编辑器窗口、处理鼠标事件(按下、移动、释放)及使用 Instantiate 方法,可实现拖动并生成预制体物体。代码示例展示了如何检测鼠标事件并在指定位置实例化物体。
|
7月前
|
人工智能 运维 Linux
2026年阿里云无影云电脑部署OpenClaw(Clawdbot)新手喂饭级教程
在2026年AI自动化办公、轻量化运维需求持续爆发的背景下,OpenClaw(前身为Clawdbot、曾用名Moltbot)凭借“自然语言驱动+自动化任务执行+插件化扩展”的核心优势,成为个人办公提效、中小企业数字化转型的优选工具。与传统AI助手不同,OpenClaw无需专业编程能力,仅通过日常对话指令,即可完成文档生成、网页抓取、系统巡检、多工具集成等自动化任务,真正实现“零基础上手、高效率落地”,彻底打破“AI只说不做”的局限。
763 1
|
9月前
|
JSON 自然语言处理 数据处理
集结MIT、英伟达等名校名企!FoundationMotion革新视频运动理解,开源模型竟超闭源大模型
MIT、英伟达等联合推出FoundationMotion,首创全自动视频运动标注 pipeline,生成50万“视频-描述-QA”数据,覆盖7维运动语义与5类推理问题。模型微调后在MotionBench、AV-Car等评测中显著超越闭源大模型,推动视频理解迈向高精度自动标注新阶段。
316 0
 集结MIT、英伟达等名校名企!FoundationMotion革新视频运动理解,开源模型竟超闭源大模型
|
9月前
|
人工智能 自然语言处理 安全
适合零售行业的智能客服系统推荐(2025年12月更新)
2025年,零售智能客服已成服务升级核心。瓴羊Quick Service、合力亿捷、环信、智齿科技等系统凭借AI技术,实现多渠道协同、高并发响应与业务系统集成,助力企业降本增效,提升客户体验。
|
存储 人工智能 算法
当机器学会思考:人类在AI镜像中的自我发现
《当机器学会思考:人类在AI镜像中的自我发现》探讨人工智能如何成为映照人性的镜子。从情感模拟到意识探索,从技术工具到文明伙伴,AI不仅改变生活方式,更促使人类重新理解自身的思维、情感与存在意义。在人机共舞的时代,我们既是创造者,也是被解读的对象。
|
算法 搜索推荐 Windows
审稿人直呼简洁,单点PageRank终极版!人大STOC论文让复杂度优化至理论最优
人民大学研究团队在STOC发表论文《Revisiting Local Computation of PageRank: Simple and Optimal》,提出一种局部计算PageRank的新算法,显著降低计算复杂度。该算法仅关注目标节点及其周围节点,避免遍历全网,提升大规模网络处理效率。研究改进了ApproxContributions算法的时间复杂度,并通过简洁的分析方法证明其最优性,解决了长期存在的开放问题。论文还优化了PageRank中心性的计算复杂度,为信息检索和网络分析提供新思路。然而,结果可能受限于特定网络模型,实际应用效果需进一步验证。
394 7
|
Oracle Java 关系型数据库
2023年震撼!Java在TIOBE排行榜滑坡至历史最低!
自2023年6月起,Java在TIOBE编程语言排行榜中跌至历史最低的第4位,与C#的差距缩小至1.2%。Java受欢迎程度下降的主要原因是Oracle在Java 8后引入付费许可模式,导致用户流失。尽管如此,Java仍是一门成熟、稳定且跨平台的语言,拥有庞大的用户群和丰富的生态系统。Oracle通过推出Java 17免费版及Java 21的新特性,努力保持其竞争力。未来,Java将继续与其他编程语言竞争并发展。
637 1
|
C# UED 开发者
WPF打印功能实现秘籍:从页面到纸张,带你玩转WPF打印技术大揭秘!
【8月更文挑战第31天】在WPF应用开发中,打印功能至关重要,不仅能提升用户体验,还增强了应用的实用性。本文介绍WPF打印的基础概念与实现方法,涵盖页面元素打印、打印机设置及打印预览。通过具体案例,展示了如何利用`PrintDialog`和`PrintDocument`控件添加打印支持,并使用`PrinterSettings`类进行配置,最后通过`PrintPreviewWindow`实现打印预览功能。
1511 0

热门文章

最新文章