当 Elasticsearch 遇上 MaxCompute —— 「Elasticsearch on MaxCompute 」简介-阿里云开发者社区

开发者社区> 隐林> 正文

当 Elasticsearch 遇上 MaxCompute —— 「Elasticsearch on MaxCompute 」简介

简介: 转自haixiaElasticsearch on MaxCompute Elasticsearch 是目前最流行的开源分布式搜索系统之一,它有着优秀的近实时搜索性能和丰富的周边配套工具。以 Elasticsearch 为核心的 Elastic Stack (Elasticsearch + Log
+关注继续查看

转自haixia

Elasticsearch on MaxCompute(原ODPS) 

Elasticsearch 是目前最流行的开源分布式搜索系统之一,它有着优秀的近实时搜索性能和丰富的周边配套工具。以 Elasticsearch 为核心的 Elastic Stack (Elasticsearch + Logstash + Kibana + Beats) 正逐渐成为企业和个人进行数据收集、搜索、分析、可视化的首选解决方案。

作为一个分布式系统,Elasticsearch 在部署使用时会面临一些运维方面的问题:如扩容缩容、failover、集群运维和管理等。对于这些问题,ODPS 已经有了成熟、稳定的解决方案,而 Elasticsearch 的搜索功能一直是 ODPS 的短板——存储在 ODPS 表里的数据难以进行高效的全文检索,但是越来越多的 ODPS 用户对数据提出了搜索需求。

所以,我们把 Elasticsearch 和 ODPS 结合起来——让 Elasticsearch 运行在 ODPS 集群上,通过 ODPS 统一调度和管理,并且打通 ODPS 表数据到 Elasticsearch 的通道,利用 Elasticsearch 满足用户的搜索需求。(PS:本产品目前只对专有云输出,公共云暂不提供服务)

实现简介

1. Elasticsearch —— ODPS long running job

Elasticsearch on ODPS 整体架构如下图所示 (橙色部分是 ODPS,绿色部分是 Elasticsearch):

screenshot

在 ODPS 上,一个 Elasticsearch 集群对应一个 ODPS 的 long running 作业。用户通过提交 ODPS 作业启动 Elasticsearch 集群,作业提交成功后会返回相应 instanceID;客户端提供调整 Elasticsearch 集群的接口,用户可以根据 instanceID 请求扩容、缩容和停止 Elasticsearch 集群。其中:

  • ODPS 控制集群负责启动和停止 Elasticsearch 的 long running 作业,以及将客户端的 RPC 请求转发到相应的 App Master 上。
  • App Master 是管理 Elasticsearch 集群的核心组件,负责向 Fuxi 申请资源、拉起 Elasticsearch 节点、监控节点运行状态并处理 failover 的情况,同时还要响应客户端通过控制集群转发的 RPC 请求,返回 Elasticsearch 集群的运行状态信息或对集群进行相应调整。
  • worker 负责拉起 Elasticsearch 进程,并向 App Master 汇报运行状态
  • Elasticsearch 启动成功后即可通过 Nodeclient 提供服务,用户通过 RESTful API 或 Elasticsearch SDK 使用 Elasticsearch 的相关功能

2. 数据打通

Logstash 是 Elasticsearch 最常用的数据导入工具,使用灵活,有很好的插件化支持。我们开发了 ODPS-Logstash 插件,用户进行简单的配置,就可以把 ODPS 表作为 Elasticsearch 的数据源,使用 Logstash 把数据导入到 Elasticsearch 集群中。Elasticsearch 即可建立索引并提供搜索服务。

现状和展望

ODPS 给 Elasticsearch 带来了真正的“开箱即用”,Elasticsearch 填补了 ODPS 在搜索上的不足。目前 Elasticsearch on ODPS 正在内测使用中,后续会有更多的使用经验交流,大家对这个项目有任何的建议欢迎随时和我联系。Elasticsearch 和 ODPS 究竟能擦出怎样的火花?我们拭目以待。


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

96e17df884ab556dc002c912fa736ef6558cbb51

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4053 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6835 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4395 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7734 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9406 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
16737 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3185 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载