阿里云Elasticsearch的X-Pack:机器学习、安全保障和可视化

简介: ELK是日志分析领域较为流行的技术选择,不少阿里云用户选择在ECS上搭建开源Elasticsearch。与自建开源Elastisearch相比,阿里云Elasticsearch做了性能优化,支持弹性扩容,并搭载了商业版组件X-Pack,为用户提供即开即用的托管服务。

security X-Pack


ELK是日志分析领域较为流行的技术选择,不少阿里云用户选择在ECS上搭建开源Elasticsearch。目前,阿里云和ES官方Elastic公司展开了产品合作,联合推出了阿里云Elasticsearch。与自建开源软件相比,这款产品做了性能优化,支持弹性扩容,并搭载了商业版组件X-Pack,为用户提供即开即用的托管服务。本文将对商业版组件X-Pack做深入解读。

X-Pack介绍

阿里云Elasticsearch搭载了V5.5版本的X-Pack,提供安全、监控、告警、报告、图分析和机器学习六大扩展组件,无需额外安装插件,就能与Elastisearch、Kibana无缝对接。

安全组件

2017年1月爆发了Elasticsearch数据勒索事件,涉及到的数据至少500亿条,被删除数据至少450TB。X-Pack中的安全组件提供了对应的安全解决方案,让IT和应用团队能够依赖 X-Pack 来区分和管理正常用户和恶意入侵者;与此同时,Elasticsearc中存储的数据始终享有可靠的安全保障,公司高管和客户都能高枕无忧。

密码管理

结合 Active Directory 和 LDAP 等授权系统,可以创建自定义 Realm 来支持您自己开发的身份管理系统,或者使用我们的内置原生验证。

用户和角色权限管理

控制用户在 Elasticsearch中的权限。授权 IT /运营团队监控 Elasticsearch 集群健康状况,但不授权查看或修改数据。或者为营销团队授予营销专用数据的只读权限,但拒绝他们访问其他索引。

数据加密

借助 SSL/TLS 加密,您可以保护端对端传输、HTTP 传输,并在整个 Elasticsearch传输客户端流量。IP 筛选也能够防止未经批准的主机加入您的集群或与您的集群通信。

提供审核日志

X-Pack 中的审核日志功能能够让您轻松地维护所有系统和用户活动的完整记录,它可帮助您保持对内部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等规范的合规性。

安全组件功能,点击了解更多

监控和告警组件

ELK应用性能监控

X-Pack提供对 Elasticsearch、Kibana 和 Logstash 的性能监控。仪表板集合能够帮助您在各个层级上评估仪表板的状态,同时为您提供所有必要的信息,让您始终最大限度地发挥 ELK 系统的作用。

monitoring_node

执行实时分析和历史分析

可以将上周、上个月或去年的集群性能作为参考,分析今天的集群性能。并能够帮助您优化磁盘空间和内存,利用历史数据进行未来容量规划。

定制和管理告警

检测数据变化,可定制告警信息和通知渠道。通过Kibana可以管理和监控告警,并可以对告警历史记录进行查看和操作。

manage_and_monitor

告警组件功能,点击了解更多
监控组件功能,点击了解更多

报告组件

阿里云Elaticsearch用户可以开箱即用X-Pack的报告组件功能,能够为Kibana 可视化或仪表板快速生成报告。用户可以即需即取报告、预约报告、根据特定条件触发报告,并自动将报告分享给他人。报告所采用的架构为报告赋予了可扩展性,并且便于报告传输,让您能够随时随地获取 Kibana 中的信息。

reporting_no_zoom_optimized

报告组件功能,点击了解更多

Graph组件

Graph 组件是一种基于 API 和基于 UI 的工具,能够让您数据中存在的相关关系浮现出来,同时能够在任何规模下利用各项 Elasticsearch 功能,例如分布式查询执行、实时数据可用性和索引等。 可应用于反欺诈、个性化推荐、安全分析等场景。

在 Kibana 中将关系可视化

Kibana 中的图表 UI 让您能够直观地看到Graph功能挖掘出的联系。 Kibana 中提供的任何地图、时间轴、饼图或原始文档可视化,向下钻取详细信息。点击由网络化实体构成的图并与图交互,可查看联系强度,甚至可以自定义颜色和图标。

kibana_graph

Graph组件功能,点击了解更多

机器学习组件

数据复杂多变,当出现基础设施问题、入侵者或业务问题时,几乎不可能利用规则或通过人工监视仪表板发现问题。X-Pack引入了机器学习功能可以实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等,从而更快地发现问题、简化问题根源分析、降低误报率。

IT 运维

发现应用请求数量异常降低,然后深入探究导致异常的问题服务器。

安全性分析

发现异常网络活动或用户行为,趁攻击者制造破坏之前准确地定位攻击者。

业务分析

如果您的电子商务网站中废弃购物车异常增多,则会给您发出通知。

机器学习组件,点击了解更多

加入钉钉技术讨论群

dingQR


阿里云Elasticsearch已正式发布啦,阿里云携手Elastic开源官方联合开发,集成5.5.3商业版本X-Pack功能,欢迎开通使用。
点击了解更多产品信息
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
机器学习/深度学习 数据可视化 算法
机器学习-可解释性机器学习:随机森林与fastshap的可视化模型解析
机器学习-可解释性机器学习:随机森林与fastshap的可视化模型解析
1528 1
|
数据可视化 Java Windows
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client
本文介绍了如何在Windows环境下安装Elasticsearch(ES)、Elasticsearch Head可视化插件和Kibana,以及如何配置ES的跨域问题,确保Kibana能够连接到ES集群,并提供了安装过程中可能遇到的问题及其解决方案。
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
871 4
|
机器学习/深度学习 数据可视化 搜索推荐
Python在社交媒体分析中扮演关键角色,借助Pandas、NumPy、Matplotlib等工具处理、可视化数据及进行机器学习。
【7月更文挑战第5天】Python在社交媒体分析中扮演关键角色,借助Pandas、NumPy、Matplotlib等工具处理、可视化数据及进行机器学习。流程包括数据获取、预处理、探索、模型选择、评估与优化,以及结果可视化。示例展示了用户行为、话题趋势和用户画像分析。Python的丰富生态使得社交媒体洞察变得高效。通过学习和实践,可以提升社交媒体分析能力。
357 1
|
自然语言处理 算法 OLAP
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
|
机器学习/深度学习 数据可视化 JavaScript
探索机器学习模型的可视化技术
【9月更文挑战第23天】在数据科学中,理解和解释机器学习模型的决策过程是至关重要的。本文将介绍几种流行的可视化工具和库,如TensorBoard、D3.js等,帮助读者更好地理解模型内部工作原理及其预测结果。通过实例演示如何使用这些工具进行模型可视化,增强模型的可解释性。
|
机器学习/深度学习 数据采集 数据可视化
基于python 机器学习算法的二手房房价可视化和预测系统
文章介绍了一个基于Python机器学习算法的二手房房价可视化和预测系统,涵盖了爬虫数据采集、数据处理分析、机器学习预测以及Flask Web部署等模块。
492 2
基于python 机器学习算法的二手房房价可视化和预测系统
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】集成语音与大型语音模型等安全边界探索
【机器学习】集成语音与大型语音模型等安全边界探索
466 5
|
机器学习/深度学习 数据采集 安全
【机器学习】安全领域:突破威胁检测的边界
【机器学习】安全领域:突破威胁检测的边界
231 1

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版