带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(上)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(上)

3.5.16.2.Getting started


创作人:管辉俊

审稿人:胡征南

 

机器学习入门

 

Machine Learning 特性,可以分析数据并为其行为模式生成模型。面对海量数据,想靠手动操作根本不可能;使用 Elasticsearch 的机器学习特性对数据完成行为建模,轻松找出异常活动、基础设施问题和业务趋势。Machine Learning 可灵活应用于各种用例和数据集,实时对结果进行可视化。

 

无监督机器学习

 

有两种类型的分析可以推断出数据中的模式和关系,而无需培训或干预:anomaly detection异常检测和outlier detection孤立点检测。

 

异常检测需要时间序列数据。它构造了一个概率模型,并可以连续运行以识别发生的异常事件。模型随着时间的推移而发展;你可以利用它的洞察力来预测未来的行为。

 

孤立点检测不需要时间序列数据;通过分析每个数据点与其他数据点的距离以及周围点的密度,它来识别数据集中的异常点。它不会连续运行;只会生成一个数据集副本,其中每个数据点都会注释一个离群点的分数。得分表示数据点与其他数据点相比在多大程度上是异常值。

 

监督机器学习

 

有两种类型的分析的命令训练数据集:classification分类和regression回归

 

这两种情况下,结果都是数据集的副本,其中每个数据点都带有预测注释和经过训练的模型,你可以将其部署到新数据的预测中。


分类学习数据点之间的关系,可以预测离散的分类值,例如 DNS 请求是来自恶意域还是良性域。

 

回归学习数据点之间的关系,可以预测连续的数值,例如 Web 请求的响应时间。

 

机器学习作业

 

Kibana 7.x 支持四种类型的作业:

 

l Single-metric:数据分析仅在一个索引字段上执行。

l Multi-metric:可以对多个索引字段执行数据分析,但是,每个字段都分别进行分析。

l Advanced:可以对多个索引字段执行数据分析,提供检测器和影响者的完整配置设置。

l Population:对不常见数据的分布行为的数据分析例如检测总体中的异常值



《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning ——3.5.16.2.Getting started(中) https://developer.aliyun.com/article/1227257









相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
机器学习/深度学习 数据建模 索引
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(中)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(中)
108 0
|
机器学习/深度学习
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)
带你读《Elastic Stack 实战手册》之58:——3.5.16.2.Getting started(下)
|
存储 运维 监控
带你读《Elastic Stack 实战手册》之2:——二、导读(下)
带你读《Elastic Stack 实战手册》之2:——二、导读(下)
278 0
|
自然语言处理 索引
带你读《Elastic Stack 实战手册》之33:——3.4.2.17.2.Schemaless(上)
带你读《Elastic Stack 实战手册》之33:——3.4.2.17.2.Schemaless(上)
126 0
|
SQL 自然语言处理 监控
带你读《Elastic Stack 实战手册》之2:——二、导读(上)
带你读《Elastic Stack 实战手册》之2:——二、导读(上)
352 0
|
JSON Java 数据格式
带你读《Elastic Stack 实战手册》之33:——3.4.2.17.2.Schemaless(下)
带你读《Elastic Stack 实战手册》之33:——3.4.2.17.2.Schemaless(下)
116 0
|
监控 网络协议 程序员
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (上)
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (上)
106 0
|
监控 网络协议 中间件
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (下)
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (下)
101 0
|
Shell iOS开发 Docker
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (中)
带你读《Elastic Stack 实战手册》之52:——3.5.11.Uptime (中)
114 0
|
存储 分布式计算 监控
带你读《Elastic Stack 实战手册》之56:——3.5.15.Snapshot (下)
带你读《Elastic Stack 实战手册》之56:——3.5.15.Snapshot (下)
166 0