《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning——3.5.16.4.Data frame analytics(3) https://developer.aliyun.com/article/1227191
在实际的使用中,我们可以选择我们想要的字段来进行异常分析。
我们还可以查看到各个字段对异常的贡献:
在我们上面的表格中,我们可能没有看到 zipcode 的列显示。这个在最新的 Kibana 中自动隐藏了。我们可以通过如下的方法来打开:
这个案例可以帮助我们分析一个城市里的哪个区域的房价比较异常,比如价格异常高或者异常地,楼层和价格直接的关系等。
通过这个练习可以了解如何使用 Elastic 的机器学习对 data frame 数据进行异常检测。
案例来源:使用 Elastic 机器学习进行 data frame 分析
更多案例参考:Data frame analytics examples
使用限制
限制根据版本不同而不同,此处为 7.14.1 release 的相关限制。
l 平台限制
○ CPU 调度优化只在 Linux 和 MacOS 平台有效
l 配置限制
○ 不支持跨集群搜索
○ 不支持 Nested 字段类型
○ 数据集分析任务不能更新
○ 内存限制
○ 训练数据文档数限制最大 2^32
○ 7.8.0 版本创建的模型向后不兼容
l 操作限制
○ 删除训练任务将不会删除训练索引
○ 训练任务可能耗时非常长
○ 升级 ES 集群可能导致重新训练
○ 超过一个值的数组类型字段不会参与分析
○ 异常值分析需要数字类型或者boolean类型
○ 回归分析支持数字、boolean、text、keyword、ip类型
○ 聚类分析支持数字、boolean、text、keyword、ip类型
○ 不平衡聚类会影响聚类效果,建议每个聚类至少50个样本,最大最小聚类样本不大于10:1
○ 深度嵌套对象影响推理性能
○ 分析运行时性能将显著降低特征重要性分析的计算速度
l Kibana 中的限制
○ 训练模型在所有 Kibana 空间中可见
创作人简介:
刘晓国,现为 Elastic 社区资深布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织(Linux for ARM),
Ubuntu,LinkMotion,Vantiq等企业。从事过通信,电脑设计,计算机操作系统,物联网,汽车电子,云实时事件处理,大数据搜索等行业。从爱立信开始,到后来的诺基亚,Ubuntu从事社区工作有超过 15 年以上经历。喜欢分享自己所学到的知识,希望和大家一起分享及学习。博客:https://elasticstack.blog.csdn.net/