带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(4)

简介: 带你读《Elastic Stack 实战手册》之60:——3.5.16.4.Data frame analytics(4)


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.16. Machine learning——3.5.16.4.Data frame analytics(3) https://developer.aliyun.com/article/1227191



在实际的使用中,我们可以选择我们想要的字段来进行异常分析。

image.png

image.png

image.png

image.png

image.png

image.png

我们还可以查看到各个字段对异常的贡献:

image.png

在我们上面的表格中,我们可能没有看到 zipcode 的列显示。这个在最新的 Kibana 中自动隐藏了。我们可以通过如下的方法来打开:

image.png

image.png

这个案例可以帮助我们分析一个城市里的哪个区域的房价比较异常,比如价格异常高或者异常地,楼层和价格直接的关系等。

 

通过这个练习可以了解如何使用 Elastic 的机器学习对 data frame 数据进行异常检测。

 

案例来源:使用 Elastic 机器学习进行 data frame 分析

更多案例参考:Data frame analytics examples

 

使用限制

 

限制根据版本不同而不同,此处为 7.14.1 release 的相关限制。

 

l 平台限制

○ CPU 调度优化只在 Linux 和 MacOS 平台有效

l 配置限制

○ 不支持跨集群搜索

○ 不支持 Nested 字段类型

○ 数据集分析任务不能更新

○ 内存限制

○ 训练数据文档数限制最大 2^32

○ 7.8.0 版本创建的模型向后不兼容

l 操作限制

○ 删除训练任务将不会删除训练索引

○ 训练任务可能耗时非常长

○ 升级 ES 集群可能导致重新训练

○ 超过一个值的数组类型字段不会参与分析

○ 异常值分析需要数字类型或者boolean类型

○ 回归分析支持数字、boolean、text、keyword、ip类型

○ 聚类分析支持数字、boolean、text、keyword、ip类型

○ 不平衡聚类会影响聚类效果,建议每个聚类至少50个样本,最大最小聚类样本不大于10:1

○ 深度嵌套对象影响推理性能

○ 分析运行时性能将显著降低特征重要性分析的计算速度

l Kibana 中的限制

○ 训练模型在所有 Kibana 空间中可见

 

创作人简介:

刘晓国,现为 Elastic 社区资深布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织(Linux for ARM),

Ubuntu,LinkMotion,Vantiq等企业。从事过通信,电脑设计,计算机操作系统,物联网,汽车电子,云实时事件处理,大数据搜索等行业。从爱立信开始,到后来的诺基亚,Ubuntu从事社区工作有超过 15 年以上经历。喜欢分享自己所学到的知识,希望和大家一起分享及学习。博客:https://elasticstack.blog.csdn.net/

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
7天前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
6966 9
|
5天前
|
人工智能 测试技术 API
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
Jev是TypeSafe AI推出的“系统一模型”,不生成文本,专做毫秒级结构化决策:Choice(多选)、Score(打分)、Noul(是非概率)。响应快193倍、成本低444倍,适合工单路由、内容审核、测试定级等高频判断场景。
1406 4
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
|
6天前
|
人工智能 并行计算 PyTorch
秋叶 ComfyUI 2026 整合包 v3.2 完整部署教程:Python 3.13 + Torch 2.13 全栈升级
秋叶aaaki ComfyUI 2026年8月整合包v3.2正式发布!全面升级Python 3.13.11、PyTorch 2.13.0+cu130及ComfyUI v0.30.2,原生支持MiniMax H3、Wan 2.2、Qwen-Image-2.1等2026主流音视频/图像模型,解压即用,无需环境配置。
874 5
|
19天前
|
人工智能 自然语言处理 安全
阿里云千问办公 QwenWork详细介绍:产品核心能力、典型场景、价格及常见问题解答
千问办公是阿里云推出的一站式AI办公平台,主打"不止于对话,更注重交付",依托通义千问旗舰大模型,用户一句话即可完成数据分析、PPT生成、视频剪辑等复杂任务,直接输出可用成果。产品深度打通钉钉生态与企业OA,覆盖桌面端、网页端,提供企业标准版198元/人/月等多档订阅方案,新用户注册即赠2000积分,适配工程师、HR、财务等多职业办公场景,成为能动手干活的"全能AI同事"。
3449 10
|
14天前
|
缓存 IDE Java
【保姆级】Android Studio下载、安装和汉化教程(2026最新)
Android Studio 是 Google 官方推出的免费 Android 应用开发集成环境,基于 IntelliJ IDEA,内置模拟器、调试器、性能分析及 Compose 界面工具,功能全面,文档丰富,是安卓开发首选工具。(239字)
1521 1
|
18天前
|
IDE 开发工具
Qoder 上线 Sonus 模型,Computer Use 能力全面增强
Qoder国际版上线全新内置大模型Sonus(/ˈsoʊnəs/),全球领先,专精超长任务执行与电脑操作(Computer Use)。配合Qoder桌面端0.2.3版本,可自主完成编程、金融建模、科研及表格制作等复杂工作。现全面支持Qoder全系产品,效率提升3.2倍。
1898 9
Qoder 上线 Sonus 模型,Computer Use 能力全面增强

热门文章

最新文章