【深入浅出】阿里自研开源搜索引擎Havenask集群扩备份

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
推荐全链路深度定制开发平台,高级版 1个月
简介: 本次分享内容为Havenask的集群扩备份,共2个部分组成(集群备份简介、 集群备份实践),希望可以帮助大家更好了解和使用Havenask。

一、集群备份简介

1、Havenask的节点

Havenask有两个节点,即qrs和searcher。其中qrs是多行的结构,searcher是多行多列的结构因此qrssearcher都可以进行扩备份操作。


2、扩备份的主要流程

首先,修改对应角色的Hippo配置文件;然后,通过hape命令下发至suez adminsuez admin将整合的目标继续下发至carbon,继而下发至hippohippo收到相应的配置后,自动进行扩备份操作。

image.png


二、集群备份实践

1、过程概述

本次测试涉及的hape命令可以参考havenask官网,首先是多机模式的相关命令以及用于更新hippo配置的相关命令。首先准备havenask集群,然后创建一张直写表,创建完成查询正常后,通过hape命令修改hippo配置,最后进行查询。


参考链接:


2、扩备份实践演示

准备集群:

  • hape start havenask -c /ha3_install/hape_conf/remote
  • hape qs havenask -c/ha3 install/hape conf/remote
  • hape create table -t in0 -p 1 -s /ha3_install/example/cases/normal/in0_schema.json -c /ha3_install/hape_conf/remote


查询:

  • /ha3_install/sql_query.py --address  http://<qrs-ip>:45800 --query "insert into in0 (createtime,hits,id,title,subject)values(1,2,4,'测试', '测试')"
  • /ha3_install/sql_query.py --address  http://10.1.1.105:45800 --query "select * from in0"


修改searcher备份数:

  • hape get default-hippo-config -r searcher -c /ha3_install/hape_conf/remote> searcher_hippo.json
  • #修改count
  • hape update hippo-config -p searcher_hippo,json -r searcher -c/ha3_install/hape_conf/remote


查询:

  • /ha3_install/sql_query.py --address http://:45800 --query "select * from in0"


3、具体步骤

  • 首先,拉起分布式的havenask集群,创建后查询havenask集群的状态,由于仍未创建表,故仍处于not ready状态。创建一张直写表,创建完成后,再次查看havenask集群的状态,此时处于了ready状态。


  • 接下来,插入几条数据,显示正常后,获取默认的hippo配置,并保存到文件中,打开该文件,将count(备份数)改为2。


  • 下一步,查看目标下发之前的havenask状态,显示仅有一个备份,将hippo配置下发,生效之后再查询havenask集群的状态,可以看到多了一个备份,一段时间后新增备份即可处于ready状态。至此扩备份操作完成。


三、结尾

具体Havenask集群扩备份的演示视频可以通过链接查看,欢迎各位开发者使用。

视频链接:https://developer.aliyun.com/live/253692?spm=a2c6h.13262185.profile.8.563bee42LdD7By


关注我们:

Havenask 开源官网:https://havenask.net/

Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

钉钉扫码加入 Havenask 开源官方技术交流群:

1715594790746.png

目录
相关文章
|
7天前
|
关系型数据库 分布式数据库 PolarDB
[PolarDB实操课] 02.使用云起实验室资源快速体验PolarDB分布式版
本次课程由阿里云PolarDB开源架构师黄心雨分享,重点介绍如何使用云起实验室资源快速体验PolarDB分布式版。主要内容包括: 1. **PolarDB-X的四种安装方法**:Docker、PXD工具、Kubernetes和源码编译。 2. **容器技术简介**:解释容器在云原生环境中的作用,解决代码跨环境迁移问题。 3. **云起实验室实操**:通过云起实验室提供的零门槛平台,快速部署PolarDB-X,体验其主要功能。 4. **课程小结**:总结PolarDB-X的安装方式及实际操作步骤,并展望后续课程内容。
|
5月前
|
存储 SQL 运维
“震撼发布!PolarDB-X:云原生分布式数据库巨擘,超高并发、海量存储、复杂查询,一网打尽!错过等哭!”
【8月更文挑战第7天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
123 1
|
6月前
|
关系型数据库 分布式数据库 PolarDB
**PolarDB开源指南:构建分布式数据库集群**踏上PolarDB开源之旅,了解如何从零开始搭建分布式集群
【7月更文挑战第3天】**PolarDB开源指南:构建分布式数据库集群**踏上PolarDB开源之旅,了解如何从零开始搭建分布式集群。采用存储计算分离架构,适用于大规模OLTP和OLAP。先准备硬件和软件环境,包括Linux、Docker和Git。然后,克隆源码,构建Docker镜像,部署控制节点和计算节点。使用PDCli验证集群状态,开始探索PolarDB的高性能与高可用性。在实践中深化学习,贡献于数据库技术创新。记得在安全环境下测试。
206 1
|
8月前
|
消息中间件 Kafka Serverless
小红书黄章衡:AutoMQ Serverless 基石-秒级分区迁移
Apache Kafka的分区迁移通常需要大量数据同步,耗时较长,但在AutoMQ中,由于存算分离架构,迁移时间缩短至秒级。本文深入解析了AutoMQ秒级迁移的原理和源码,包括构建迁移命令、Broker同步变更、元数据持久化、数据上传、选主以及数据恢复等六个步骤。这种高效迁移能力适用于高峰期快速扩容和Serverless按需扩容场景,提升了系统的弹性和运维效率。AutoMQ由Apache RocketMQ和Linux LVS团队创建,旨在提供成本优化和高弹性消息队列服务。
308 3
小红书黄章衡:AutoMQ Serverless 基石-秒级分区迁移
|
8月前
|
SQL 开发者 索引
【深入浅出】阿里自研开源搜索引擎Havenask变更表结构
本文介绍了Havenask的表结构变更,包括表结构简介、全量构建流程和变更表结构三个部分。表结构由schema配置,字段类型包括INT、FLOAT、STRING等,索引有倒排、正排和摘要索引。全量表变更会触发全量构建,完成后自动切换,但直写表不支持直接变更。变更过程涉及使用hape命令更新schema并触发全量build。最后还有全量构建的流程图和具体操作步骤。
61944 2
|
8月前
|
消息中间件 Docker 索引
【一文解读】阿里自研开源核心搜索引擎 Havenask简介及发展历史
本次分享内容为Havenask的简介及发展历史,由下面五个部分组成(Havenask整体介绍、名词解释、架构、代码结构、编译与部署),希望可以帮助大家更好了解和使用Havenask。
72082 0
【一文解读】阿里自研开源核心搜索引擎 Havenask简介及发展历史
|
8月前
|
SQL 开发者 索引
【深入浅出】阿里自研开源搜索引擎Havenask集群扩分片
本次分享内容为Havenask的集群扩分片,共2个部分组成( 集群扩分片简介、 集群扩分片实践),希望可以帮助大家更好了解和使用Havenask。
82425 0
|
8月前
|
SQL 调度 Swift
【深入浅出】阿里自研开源搜索引擎Havenask日志查询
本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。
55380 0
|
Kubernetes 网络协议 Linux
百度搜索:蓝易云【【K8S&RockyLinux】基于开源操作系统搭建K8S高可用集群教程。】
这是一个简要的教程,用于基于Rocky Linux搭建Kubernetes高可用集群。请注意,具体步骤可能因Kubernetes版本、网络插件选择和环境配置而有所不同。在实际搭建过程中,请参考相关文档和官方指南,并根据您的需求进行适当的调整和配置。
685 0
|
存储 弹性计算 运维
互娱NoSQL架构优化 —— 暨MongoDB“在线换引擎”技术服务指南”
XX工作室是某大客户核心游戏工作室,其核心业务是国内二次元RPG手游,采用实时开放世界对战模式,整体采用阿里云方案,本次专项攻坚主要对于玩家在游戏期间各类游戏属性交互(包含过图、物品、面板、剧情等)的核心业务模块进行优化,其中涉及NoSQL部分由于在专项优化期间存在诸多细节,特此提炼出来给各位有类似互娱业务场景进行参考。