【深入浅出】阿里自研开源搜索引擎Havenask集群扩分片

本文涉及的产品
推荐全链路深度定制开发平台,高级版 1个月
简介: 本次分享内容为Havenask的集群扩分片,共2个部分组成( 集群扩分片简介、 集群扩分片实践),希望可以帮助大家更好了解和使用Havenask。

一、集群扩分片简介

流程与修改schema基本一致,用户通过hape修改分片数,进而修改了catalog中的信息触发全量build,新版本全量切换后,新的分片数生效。

image.png


二、集群扩分片实践

1、过程概述

集群扩分片操作的命令与变更表结构一致,相关命令可查看havenask官网。在havenask官网中找到hape命令https://havenask.net/#/doc/v0-2-2/sql/petool/command),然后找到update命令,更新全量表。命令中的参数可更新全量表的partition数量(分片数)。首先创建一个分布式的havenask集群,再创建一张全量表,查询这张全量表,然后对该全量表进行扩分片操作,使用的命令与变更schema的命令相同,等待扩分片操作完成之后,再查询集群。


2、扩分片实践

接下来我们在havenask分布式集群上进行一次扩分片操作。

hape命令变更表结构(https://havenask.net/0/doc/sql/petool/command


准备集群:

  • hape start havenask -c /ha3_install/hape_conf/remote
  • hape create table -t in1 -p 1 -s /ha3_install/example/cases/normal/in0_schema.json  -f hdfs://xxx/test.data -c /ha3_install/hape_conf/remote
  • hape gs bs -c /ha3_install/hape_conf/remote
  • hape gs havenask -c /ha3_install/hape_conf/remote


查询:

  • /ha3_install/sql_query.py --address  http://<qrs-ip>:45800 --query "select * from in1"


扩分片:

  • hape update table-schema -t in1 -p 2 -s /ha3_install/example/cases/normal/in0_schema.json -f hdfs://xxx/test.data -c /ha3_install/hape_conf/remote
  • hape gs bs -c /ha3_install/hape_conf/remote
  • hape gs havenask -c /ha3_install/hape_conf/remote


查询:

  • /ha3_install/sql_query.py --address http://:45800 --query "select * from in1"

3、具体步骤

  • 首先,启动havenask分布式集群;然后,创建一张分片数为1的全量表,触发全量表创建已经完成,在全量表构建期间,可以用gs命令查看,build info表示全量表正在构建中,当有了currentbuild info信息,表明全量表已经构建完成,集群也处于了ready状态;


  • 接下来,查询正常后,进行扩分片操作,把分片数改为2,执行命令后会触发全量buildbuild完成且索引切换上线后,查看全量build的状态,当创建完成后,build info当中会有两个分片的信息;


  • 最后,再次查询集群的状态,显示集群状态为ready,两个分片状态也为ready,扩分片后的集群也已完成。

 

三、结尾

具体Havenask集群扩分片的演示视频可以通过链接查看,欢迎各位开发者使用。

视频链接:https://developer.aliyun.com/live/253698?spm=a2c6h.13262185.profile.7.563bee42LdD7By


关注我们:

Havenask 开源官网:https://havenask.net/

Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

钉钉扫码加入 Havenask 开源官方技术交流群:

1715594790746.png

 

目录
相关文章
|
30天前
|
存储 消息中间件 搜索推荐
【前沿技术】 阿里开源搜索引擎Havenask的消息系统
Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎,深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文针对性介绍了Havenask的消息系统--Swift,它是一个设计用于处理大规模的数据流和实时消息传递的高性能、可靠的消息系统。
60002 3
|
30天前
|
SQL 运维 搜索推荐
《揭秘,阿里开源自研搜索引擎Havenask的在线检索服务》
Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎,深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文针对性介绍了Havenask的在线检索服务,它具备高可用、高时效、低成本的优势,帮助企业和开发者量身定做适合业务发展的智能搜索服务。
82960 138
|
30天前
|
消息中间件 存储 负载均衡
【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案
昔之善战者,先为不可胜,以待敌之可胜。不可胜在己,可胜在敌。故善战者,能为不可胜,不能使敌之必可胜。故曰:胜可知,而不可为。
224 2
【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案
|
30天前
|
SQL JSON 资源调度
【深入浅出】阿里自研开源搜索引擎Havenask集群扩备份
本次分享内容为Havenask的集群扩备份,共2个部分组成(集群备份简介、 集群备份实践),希望可以帮助大家更好了解和使用Havenask。
66182 0
|
30天前
|
SQL 调度 Swift
【深入浅出】阿里自研开源搜索引擎Havenask日志查询
本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。
55286 0
|
30天前
|
SQL 开发者 索引
【深入浅出】阿里自研开源搜索引擎Havenask变更表结构
本文介绍了Havenask的表结构变更,包括表结构简介、全量构建流程和变更表结构三个部分。表结构由schema配置,字段类型包括INT、FLOAT、STRING等,索引有倒排、正排和摘要索引。全量表变更会触发全量构建,完成后自动切换,但直写表不支持直接变更。变更过程涉及使用hape命令更新schema并触发全量build。最后还有全量构建的流程图和具体操作步骤。
61856 2
|
30天前
|
消息中间件 Docker 索引
【一文解读】阿里自研开源核心搜索引擎 Havenask简介及发展历史
本次分享内容为Havenask的简介及发展历史,由下面五个部分组成(Havenask整体介绍、名词解释、架构、代码结构、编译与部署),希望可以帮助大家更好了解和使用Havenask。
71599 0
【一文解读】阿里自研开源核心搜索引擎 Havenask简介及发展历史
|
30天前
|
SQL 消息中间件 存储
【一文看懂】使用hape部署分布式版Havenask
本次分享内容为使用hape部署分布式版Havenask,共2个部分组成(部署分布式版Havenask集群、 分布式相关问题排查),希望可以帮助大家更好了解和使用Havenask。
165031 6
|
8月前
|
缓存 算法 架构师
阿里P9架构师终于把毕生心血而成的分布式高可用算法笔记开源了
说在前面的话 分布式系统无处不在。 一台计算机内部多个互联的处理器组成了一个分布式系统,它们通过“一致性缓存”算法使每个处理器核心看到相同的数据。近三十年来,随着互联网的发展,越来越多的互联网后台系统采用计算机集群的方式来应对海量请求和数据的需求,这个计算机集群也是分布式系统。 为了简化分布式系统的开发,出现了很多为开发者提供分布式框架的开源项目,例如Apache基金会旗下的ZooKeeper项目就是一个应用广泛的分布式框架。 同时,国内也有很多关于如何使用这些分布式框架来搭建应用的书籍,它们极大地推动了分布式系统在国内的应用。我们不仅要知道如何使用这些现成的分布式框架来搭建应用,而且应
|
6月前
|
Kubernetes 网络协议 Linux
百度搜索:蓝易云【【K8S&RockyLinux】基于开源操作系统搭建K8S高可用集群教程。】
这是一个简要的教程,用于基于Rocky Linux搭建Kubernetes高可用集群。请注意,具体步骤可能因Kubernetes版本、网络插件选择和环境配置而有所不同。在实际搭建过程中,请参考相关文档和官方指南,并根据您的需求进行适当的调整和配置。
619 0