阿里云Elasticsearch的X-Pack:机器学习、安全保障和可视化

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ELK是日志分析领域较为流行的技术选择,不少阿里云用户选择在ECS上搭建开源Elasticsearch。与自建开源Elastisearch相比,阿里云Elasticsearch做了性能优化,支持弹性扩容,并搭载了商业版组件X-Pack,为用户提供即开即用的托管服务。

security X-Pack


ELK是日志分析领域较为流行的技术选择,不少阿里云用户选择在ECS上搭建开源Elasticsearch。目前,阿里云和ES官方Elastic公司展开了产品合作,联合推出了阿里云Elasticsearch。与自建开源软件相比,这款产品做了性能优化,支持弹性扩容,并搭载了商业版组件X-Pack,为用户提供即开即用的托管服务。本文将对商业版组件X-Pack做深入解读。

X-Pack介绍

阿里云Elasticsearch搭载了V5.5版本的X-Pack,提供安全、监控、告警、报告、图分析和机器学习六大扩展组件,无需额外安装插件,就能与Elastisearch、Kibana无缝对接。

安全组件

2017年1月爆发了Elasticsearch数据勒索事件,涉及到的数据至少500亿条,被删除数据至少450TB。X-Pack中的安全组件提供了对应的安全解决方案,让IT和应用团队能够依赖 X-Pack 来区分和管理正常用户和恶意入侵者;与此同时,Elasticsearc中存储的数据始终享有可靠的安全保障,公司高管和客户都能高枕无忧。

密码管理

结合 Active Directory 和 LDAP 等授权系统,可以创建自定义 Realm 来支持您自己开发的身份管理系统,或者使用我们的内置原生验证。

用户和角色权限管理

控制用户在 Elasticsearch中的权限。授权 IT /运营团队监控 Elasticsearch 集群健康状况,但不授权查看或修改数据。或者为营销团队授予营销专用数据的只读权限,但拒绝他们访问其他索引。

数据加密

借助 SSL/TLS 加密,您可以保护端对端传输、HTTP 传输,并在整个 Elasticsearch传输客户端流量。IP 筛选也能够防止未经批准的主机加入您的集群或与您的集群通信。

提供审核日志

X-Pack 中的审核日志功能能够让您轻松地维护所有系统和用户活动的完整记录,它可帮助您保持对内部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等规范的合规性。

安全组件功能,点击了解更多

监控和告警组件

ELK应用性能监控

X-Pack提供对 Elasticsearch、Kibana 和 Logstash 的性能监控。仪表板集合能够帮助您在各个层级上评估仪表板的状态,同时为您提供所有必要的信息,让您始终最大限度地发挥 ELK 系统的作用。

monitoring_node

执行实时分析和历史分析

可以将上周、上个月或去年的集群性能作为参考,分析今天的集群性能。并能够帮助您优化磁盘空间和内存,利用历史数据进行未来容量规划。

定制和管理告警

检测数据变化,可定制告警信息和通知渠道。通过Kibana可以管理和监控告警,并可以对告警历史记录进行查看和操作。

manage_and_monitor

告警组件功能,点击了解更多
监控组件功能,点击了解更多

报告组件

阿里云Elaticsearch用户可以开箱即用X-Pack的报告组件功能,能够为Kibana 可视化或仪表板快速生成报告。用户可以即需即取报告、预约报告、根据特定条件触发报告,并自动将报告分享给他人。报告所采用的架构为报告赋予了可扩展性,并且便于报告传输,让您能够随时随地获取 Kibana 中的信息。

reporting_no_zoom_optimized

报告组件功能,点击了解更多

Graph组件

Graph 组件是一种基于 API 和基于 UI 的工具,能够让您数据中存在的相关关系浮现出来,同时能够在任何规模下利用各项 Elasticsearch 功能,例如分布式查询执行、实时数据可用性和索引等。 可应用于反欺诈、个性化推荐、安全分析等场景。

在 Kibana 中将关系可视化

Kibana 中的图表 UI 让您能够直观地看到Graph功能挖掘出的联系。 Kibana 中提供的任何地图、时间轴、饼图或原始文档可视化,向下钻取详细信息。点击由网络化实体构成的图并与图交互,可查看联系强度,甚至可以自定义颜色和图标。

kibana_graph

Graph组件功能,点击了解更多

机器学习组件

数据复杂多变,当出现基础设施问题、入侵者或业务问题时,几乎不可能利用规则或通过人工监视仪表板发现问题。X-Pack引入了机器学习功能可以实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等,从而更快地发现问题、简化问题根源分析、降低误报率。

IT 运维

发现应用请求数量异常降低,然后深入探究导致异常的问题服务器。

安全性分析

发现异常网络活动或用户行为,趁攻击者制造破坏之前准确地定位攻击者。

业务分析

如果您的电子商务网站中废弃购物车异常增多,则会给您发出通知。

机器学习组件,点击了解更多

加入钉钉技术讨论群

dingQR


阿里云Elasticsearch已正式发布啦,阿里云携手Elastic开源官方联合开发,集成5.5.3商业版本X-Pack功能,欢迎开通使用。
点击了解更多产品信息
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
在阿里云机器学习平台上布置一个PyTorch模型
在阿里云机器学习平台上布置一个PyTorch模型【1月更文挑战第21天】【1月更文挑战第105篇】
172 1
|
4月前
|
人工智能 算法 开发工具
Mixtral 8X7B MoE模型在阿里云PAI平台的微调部署实践
Mixtral 8x7B 是Mixtral AI最新发布的大语言模型,是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI,提供了对于 Mixtral 8x7B 模型的全面支持,开发者和企业用户可以基于 PAI-快速开始轻松完成Mixtral 8x7B 模型的微调和部署。
|
5月前
|
安全 大数据 Java
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
55 0
|
3天前
|
存储 数据可视化 数据建模
阿里云大佬叮嘱我务必要科普这个 Elasticsearch API
阿里云大佬叮嘱我务必要科普这个 Elasticsearch API
12 0
|
2月前
|
自然语言处理 算法 关系型数据库
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
|
3月前
|
数据安全/隐私保护
spring-boot-starter-data-elasticsearch es带x-pack后台配置
spring-boot-starter-data-elasticsearch es带x-pack后台配置
25 0
|
4月前
|
机器学习/深度学习 人工智能 分布式计算
阿里云PAI:一站式AI研发平台,引领深度学习潮流
阿里云PAI:一站式AI研发平台,引领深度学习潮流 随着人工智能的飞速发展,深度学习框架已经成为AI研发的核心工具。然而,选择合适的深度学习框架并不容易,需要考虑的因素包括计算性能、易用性、支持的算法组件等多种因素。今天,我们就来介绍一款一站式AI研发平台——阿里云PAI,看看它如何解决这些痛点。
182 1
|
4月前
|
机器学习/深度学习 人工智能 物联网
Mixtral 8X7B MoE模型基于阿里云人工智能平台PAI实践合集
本文介绍如何在PAI平台针对Mixtral 8x7B大模型的微调和推理服务的最佳实践,助力AI开发者快速开箱。以下我们将分别展示具体使用步骤。
|
4月前
|
机器学习/深度学习 人工智能 物联网
快速玩转 Mixtral 8x7B MOE大模型,阿里云机器学习 PAI 推出最佳实践
本文介绍如何在PAI平台针对Mixtral 8x7B大模型的微调和推理服务的最佳实践,助力AI开发者快速开箱。以下我们将分别展示具体使用步骤。

相关产品

  • 检索分析服务 Elasticsearch版