带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(4)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(4)


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning——3.5.16.4.Data frame analytics(3) https://developer.aliyun.com/article/1227191



在实际的使用中,我们可以选择我们想要的字段来进行异常分析。

image.png

image.png

image.png

image.png

image.png

image.png

我们还可以查看到各个字段对异常的贡献:

image.png

在我们上面的表格中,我们可能没有看到 zipcode 的列显示。这个在最新的 Kibana 中自动隐藏了。我们可以通过如下的方法来打开:

image.png

image.png

这个案例可以帮助我们分析一个城市里的个区域的房价比异常,比如价格异常高或者异常地,楼层和价格直接的关系等。

 

通过这个练习可以了解如何使用 Elastic 的机器学习对 data frame 数据进行异常检测。

 

案例来源:使用 Elastic 机器学习进行 data frame 分析

更多案例参考:Data frame analytics examples

 

使用限制

 

限制根据版本不同而不同,此处为 7.14.1 release 的相关限制。

 

l 平台限制

CPU 调度优化只在 Linux 和 MacOS 平台有效

l 配置限制

不支持跨集群搜索

不支持 Nested 字段类型

数据集分析任务不能更新

内存限制

训练数据文档数限制最大 2^32

7.8.0 版本创建的模型向后不兼容

l 操作限制

删除训练任务将不会删除训练索引

训练任务可能耗时非常长

升级 ES 集群可能导致重新训练

超过一个值的数组类型字段不会参与分析

异常值分析需要数字类型或者boolean类型

回归分析支持数字、boolean、text、keyword、ip类型

聚类分析支持数字、boolean、text、keyword、ip类型

不平衡聚类会影响聚类效果,建议每个聚类至少50个样本,最大最小聚类样本不大于10:1

深度嵌套对象影响推理性能

分析运行时性能将显著降低特征重要性分析的计算速度

l Kibana 中的限制

训练模型在所有 Kibana 空间中可见

 

创作人简介

刘晓国,现为 Elastic 社区资深布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织Linux for ARM

Ubuntu,LinkMotion,Vantiq等企业。从事过通信,电脑设计,计算机操作系统,物联网,汽车电子,云实时事件处理,大数据搜索等行业。从爱立信开始,到后来的诺基亚,Ubuntu从事社区工作有超过 15 年以上经历。喜欢分享自己所学到的知识,希望和大家一起分享及学习。博客:https://elasticstack.blog.csdn.net/

 

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
机器学习/深度学习 安全 测试技术
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(1)
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(1)
109 0
|
定位技术 索引
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(2)
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(2)
|
机器学习/深度学习 索引
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(3)
带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(3)
|
存储 SQL NoSQL
带你读《Elastic Stack 实战手册》之37:——3.4.2.18.Denormalizing / flattening data
带你读《Elastic Stack 实战手册》之37:——3.4.2.18.Denormalizing / flattening data
125 0
|
机器学习/深度学习 API 索引
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (4)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (4)
136 0
|
存储 监控 数据挖掘
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (1)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (1)
168 0
|
SQL 安全 API
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (2)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (2)
153 0
|
监控 API 调度
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
122 0
|
机器学习/深度学习 存储 运维
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(1)
173 0
|
机器学习/深度学习 存储 JSON
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
带你读《Elastic Stack 实战手册》之59:——3.5.16.3.Anomaly detection(5)
126 0