带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(上)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(上)

3.5.16. Machine learning

3.5.16.1.Setup and security

创作人:管辉俊

审稿人:胡征南

 

什么是机器学习

 

机器学习是使用 Elasticsearch 集群中存在的数据,通过无监督的方法来构建数据模型。通过将(新的或替代的)数据与模型进行比较并识别数据中的异常模式或行为,它可以自动分析时间序列数据。在 Elasticsearch 的机器学习中,机器学习实习如下的功能:

 

l 异常检测

l 异常打分 (分数介于0到100之间,分数越高,代表越不正常)

 

在我们觉得是否使用机器学习之前,需要验证将使用的数据的适用性。在使用 Elasticsearch 机器学习之前,你必须考虑如下的三件事:

 

l 你的数据是否是一个时间系列的数据

l 数据需要包含对用例至关重要的关键性能指标(KPI)

l 数据的位置

 

事实上,你也可以通过机器学习的 API 接口来分析你的数据。这个工作并不一定小在 Kibana 中来完成。为了发现数据的异常,定义自己的数据的 KPI 是非常重要的一个环节。这些 KPI 指标,可以是:

 

l 在规定的一段时间里,日志的数量

l 在规定的一段时间里,所收到的 404 响应值


l 在规定的一段时间里,磁盘的使用量

 

IT 组织选择用于跟踪和标记的 KPI 可以跨越各种指标,包括以下各项:

 

l 客户:影响指标,例如应用程序响应时间或错误计数

l 可用性:面向指标,例如正常运行时间或平均维修时间(MTTR)

l 业务:面向指标,例如每分钟订单数,收入或活跃用户数

 

定义了 KPI 后,将对此 KPI 进行分析(平均值,最大值,计数等)。 分析功能和 KPI 的组合将称为检测器。我们可以为数据定义 Single Metric 或 Multi Metric 的检测器以检查数据中的异常情况。

 

机器学习另外一个很重要的功能就是预测所分析时序数据的未来发展趋势。一但我们建立了机器学习的作业之后,我们就可以进行预测。除了使用 Kibana 的界面进行预测之外,Elasticsearch 也提供 API 接口来实现。在使用这个功能时,你需要提供相应的时间段来进行预测。

——————————————————————————————————————————————

版权声明:本文为CSDN博主「Elastic 中国社区官方博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/UbuntuTouch/article/details/102788922

 

安装机器学习功能特性

 

使用 Elastic Stack 机器学习功能,你必须订阅并购买相关的功能特性,并且集群中至少有一个机器学习节点。

 

若要 Elastic Stack 具有安全性,那么必须要确保用户有必要的权限。如果启用操作人员权限功能,那么某些机器学习设置只能由操作员用户进行更新设置。

 

启用 Platinum 功能


如果我们从官方网站下载 Elasticsearch 并安装使用,它将是基本版本。我们必须激活30天试用许可证才能使用 Platinum 功能。

 

按照如下的步骤来启动 Platinum 功能:

 

l 打开 Kibana 选择 Management (管理界面)

l 点击 License management (许可证管理界面

l 选择 Start a 30-day trial (试用版),进而获得 Platinum 功能。



机器学习节点

 

要使用 Elastic Stack 机器学习功能,在集群中必须要有至少一个机器学习节点。机器学习节点是将 node.roles 中添加ml角色,并且将 xpack.ml.enabled 属性设置为 true。如果 node.roles 中没有 ml 角色,则无法使用机器学习功能

 

Elasticsearch 和 Kibana 的 ml.enabled 属性默认是 true

 

通过 Kibana 看下不同版本的 Elasticsearch 集群上节点的角色:

 

使用命令:


GET _cat/nodes?v

6.0版本返回结果


node.role : mdi

7.9 以上版本返回结果

node.role : dilmrt

Elasticsearch 的节点有下面几种角色:

 

l master

l data

l ingest

l ml

l remote_cluster_client

l transform

 

角色 mdi,即 master、data 以及 ingest 三种角色,这是 Elasticsearch 自从 6.x 以来最基础的三种角色,7.9 以上版本的 dilmrt 就是对应着上面的六种全部的角色。其余的三种角色是ml 以及 transform 是因为 x-pack 插件的引入而带来的。


 

 《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.1.Setup and security(下) https://developer.aliyun.com/article/1227333

 

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
存储 数据采集 监控
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (2)
138 1
|
机器学习/深度学习 SQL 运维
带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(下)
带你读《Elastic Stack 实战手册》之57:——3.5.16.1.Setup and security(下)
132 0
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(中)
115 0
|
存储 缓存 安全
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(上)
143 0
|
存储 API 项目管理
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
带你读《Elastic Stack 实战手册》之31:——3.4.2.16.Painless scripting(下)
|
搜索推荐 API 索引
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(下)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(下)
108 0
|
存储 JSON 数据库
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(上)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(上)
|
数据格式 索引
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(中)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(中)
|
JSON 数据格式
带你读《Elastic Stack 实战手册》之24:——3.4.2.9.Search template(4)
带你读《Elastic Stack 实战手册》之24:——3.4.2.9.Search template(4)
104 0
带你读《Elastic Stack 实战手册》之24:——3.4.2.9.Search template(1)
带你读《Elastic Stack 实战手册》之24:——3.4.2.9.Search template(1)

热门文章

最新文章