3.5.16. Machine learning
3.5.16.1.Setup and security
创作人:管辉俊
审稿人:胡征南
什么是机器学习
机器学习是使用 Elasticsearch 集群中存在的数据,通过无监督的方法来构建数据模型。通过将(新的或替代的)数据与模型进行比较并识别数据中的异常模式或行为,它可以自动分析时间序列数据。在 Elasticsearch 的机器学习中,机器学习实习如下的功能:
l 异常检测
l 异常打分 (分数介于0到100之间,分数越高,代表越不正常)
在我们觉得是否使用机器学习之前,需要验证将使用的数据的适用性。在使用 Elasticsearch 机器学习之前,你必须考虑如下的三件事:
l 你的数据是否是一个时间系列的数据
l 数据需要包含对用例至关重要的关键性能指标(KPI)
l 数据的位置
事实上,你也可以通过机器学习的 API 接口来分析你的数据。这个工作并不一定小在 Kibana 中来完成。为了发现数据的异常,定义自己的数据的 KPI 是非常重要的一个环节。这些 KPI 指标,可以是:
l 在规定的一段时间里,日志的数量
l 在规定的一段时间里,所收到的 404 响应值
l 在规定的一段时间里,磁盘的使用量
IT 组织选择用于跟踪和标记的 KPI 可以跨越各种指标,包括以下各项:
l 客户:影响指标,例如应用程序响应时间或错误计数
l 可用性:面向指标,例如正常运行时间或平均维修时间(MTTR)
l 业务:面向指标,例如每分钟订单数,收入或活跃用户数
定义了 KPI 后,将对此 KPI 进行分析(平均值,最大值,计数等)。 分析功能和 KPI 的组合将称为检测器。我们可以为数据定义 Single Metric 或 Multi Metric 的检测器以检查数据中的异常情况。
机器学习另外一个很重要的功能就是预测所分析时序数据的未来发展趋势。一但我们建立了机器学习的作业之后,我们就可以进行预测。除了使用 Kibana 的界面进行预测之外,Elasticsearch 也提供 API 接口来实现。在使用这个功能时,你需要提供相应的时间段来进行预测。
——————————————————————————————————————————————
版权声明:本文为CSDN博主「Elastic 中国社区官方博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/UbuntuTouch/article/details/102788922
安装机器学习功能特性
使用 Elastic Stack 机器学习功能,你必须订阅并购买相关的功能特性,并且集群中至少有一个机器学习节点。
若要 Elastic Stack 具有安全性,那么必须要确保用户有必要的权限。如果启用操作人员权限功能,那么某些机器学习设置只能由操作员用户进行更新设置。
启用 Platinum 功能
如果我们从官方网站下载 Elasticsearch 并安装使用,它将是基本版本。我们必须激活30天试用许可证才能使用 Platinum 功能。
按照如下的步骤来启动 Platinum 功能:
l 打开 Kibana 选择 Management (管理界面)
l 点击 License management (许可证管理界面)
l 选择 Start a 30-day trial (试用版),进而获得 Platinum 功能。
机器学习节点
要使用 Elastic Stack 机器学习功能,在集群中必须要有至少一个机器学习节点。机器学习节点是将 node.roles 中添加ml角色,并且将 xpack.ml.enabled 属性设置为 true。如果 node.roles 中没有 ml 角色,则无法使用机器学习功能。
Elasticsearch 和 Kibana 的 ml.enabled 属性默认是 true
通过 Kibana 看下不同版本的 Elasticsearch 集群上节点的角色:
使用命令:
GET _cat/nodes?v
6.0版本返回结果
node.role : mdi
7.9 以上版本返回结果
node.role : dilmrt
Elasticsearch 的节点有下面几种角色:
l master
l data
l ingest
l ml
l remote_cluster_client
l transform
角色 mdi,即 master、data 以及 ingest 三种角色,这是 Elasticsearch 自从 6.x 以来最基础的三种角色,7.9 以上版本的 dilmrt 就是对应着上面的六种全部的角色。其余的三种角色是ml 以及 transform 是因为 x-pack 插件的引入而带来的。
《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.1.Setup and security(下) https://developer.aliyun.com/article/1227333