分布式数据库Couchbase 集群迁移-2

简介: 在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移。其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。


    在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移。其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。

    在进行主题之前先补充一下分布式数据库 Couchbase 一些基本概念:在 Couchbase 的集群架构中,没有中心节点和 Router 的概念,这些工作是由 Smartclient 完成的,在客户端与 Couchbase Server 交互时,Couchbase 集群是作为一个黑匣子存在的。客户端负责客户程序与群集里独立节点的通信,首次连接的那个节点并不会充当代理或者分发的角色。Smartclient 或 Moxi( Couchbase Server 端的 Proxy组件)会加载 vBucket 映射表,并决定连接到集群里的哪个节点去获取和存储数据。如果集群的拓扑图改变了(比如执行 Rebalance 或者 Ffailover 操作),客户端库会自动处理任何会话错误。可以这样理解,集群的配置和结构,对应用程序是透明的,我们无需去过多关注。

     什么是 Buckets,Buckets 是独立的虚拟的数据容器,一个 Bucket 就是 Couchbase服务器集群中的一个逻辑组,可以被集群中的多个客户端应用使用。它提供安全的机制来组织、管理、分析数据存储资源。

     什么是 vBuckets,一个 vBucket 定义为 Couchbase 集群里 Key 空间的一个子集的拥有者。通过使用 vBuckets,信息在集群里分发更有效。vBucket 系统被用于分布式数据,以及支持多节点间的数据复制。

    在 Couchbase 中 Bucket有两种类型,一种是 Couchbase 类型,另一种是 Memcache类型,Couchbase 类型 Bucket 支持数据的持久化,因为它的数据是存储在磁盘上,把活跃的数据读取到内存中供客户端使用(后续的备份和Failover也仅是针对这种类型的 Bucket),而 Memcache 类型的 Bucket 是内存级别的,所有的数据均保存在内存中。现在我们开始切入主题,我们老的 Couchbase 服务器,使用了这两种类型的 Bucket,我们使用 Couchbase 类型的 Bucket存储的是持久化的数据,供我们的客户端调用,这部分数据相当重要且不能丢失。

    基本思路:

    1、备份老的 Couchbase 服务数据

   2、将新 Couchbase 服务器加入到老服务器集群中,并通过 Rebalance 同步两台服务器 Cache 数据

    3、修改客户端 Couchbase 配置节点

    4、Failover 老服务器进行升级

   本文主要基于 CBTRANSFER 操作方案以实现 Couchbase 集群迁移。具体如下所示:

    我们先描述当前的环境信息,具体如下所示:

    --- 环境描述:CentOS release 6.7 (Final)

    --- 源主机IP:10.10.10.10(此处真实地址已xx)

    --- 目标主机IP:11.11.11.11(此处真实地址已xx)

    --- 应用服务:Couchbase-server-enterprise-5.5.2-centos6.x86_64.rpm版本

     CBTRANSFER

     基于集群之间或者数据文件进行转换以实现无缝迁移。其语法为:


cbtransfer [options] source destination

       具体如下所示:


[root@testserver bin]# ./cbtransfer -u Administrator -p password http://10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main
  //  http://10.10.10.10:8091 参数为源主机
  //  http://11.11.11.11:8091 参数为目标主机
  //  -b 参数为源主机对应的bucket信息
  //  --bucket-destination 参数为目标主机对应的bucket信息
  .
  bucket: xwf_main, msgs transferred...
          :                total |       last |    per sec
    byte  :                    0 |          0 |        0.0
    done

[root@testserver bin]#./cbtransfer -v -u Administrator -p password http:/10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main

2016-01-03 14:55:17,477: mt cbtransfer...

2016-01-03 14:55:17,478: mt  source : http://10.10.10.10:8091

2016-01-03 14:55:17,478: mt  sink   : http://11.11.11.11:8091

2016-01-03 14:55:17,478: mt  opts   : {'username': '<xxx>', 'destination_vbucket_state': 'active', 'verbose': 1, 'extra': {'max_retry': 10.0, 'rehash': 0.0,'dcp_consumer_queue_length': 1000.0, 'data_only': 0.0, 'uncompress': 0.0, 'nmv_retry': 1.0, 'conflict_resolve': 1.0, 'cbb_max_mb': 100000.0, 'report': 5.0, 'mcd_compatible': 1.0, 'try_xwm': 1.0, 'backoff_cap': 10.0, 'batch_max_bytes': 400000.0, 'report_full': 2000.0, 'flow_control': 1.0, 'batch_max_size': 1000.0,'seqno': 0.0, 'design_doc_only': 0.0, 'allow_recovery_vb_remap': 0.0, 'recv_min_bytes': 4096.0}, 'collection': None, 'ssl': False, 'threads': 4, 'key': None,'password': '<xxx>', 'id': None, 'destination_operation': None, 'source_vbucket_state': 'active', 'silent': False, 'dry_run': False, 'single_node': False, 'bucket_destination': 'xwf_main', 'vbucket_list': None, 'separator': '::', 'bucket_source': 'xwf_main'}

2016-01-03 14:55:17,492: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:17,604: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:17,697: mt bucket: xwf_main

2016-01-

03 14:55:17,940: w0 source: http://10.10.10.10:8091(xwf_main@10.10.10.10:8091)

2016-01-

03 14:55:17,940: w0 sink: http://11.11.11.11:8091(xwf_main@10.10.10.10:8091)

2016-01-03 14:55:17,941: w0 :                total |       last |    per sec

 .

 bucket: xwf_main, msgs transferred...

         :                total |       last |    per sec

   batch :                    0 |          0 |        0.0

   byte  :                    0 |          0 |        0.0

   msg   :                    0 |          0 |        0.0

2016-01-03 14:55:17,998: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,003: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,054: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:18,061: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:18,103: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,110: mt Starting new HTTP connection (1): 10.10.10.10

done

     至此,一个简单的关于 Couchbase 集群迁移操作轻松搞定,后续仅需要对新的集群进行 Rebalancing 操作即可。


相关文章
|
11天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
46 2
|
2月前
|
Oracle 关系型数据库 分布式数据库
分布式数据库集成解决方案
分布式数据库集成解决方案
205 0
|
4月前
|
Cloud Native 关系型数据库 分布式数据库
关系型分布式云原生数据库
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库。在兼容传统数据库生态的同时,突破了传统单机硬件的限制,为用户提供大容量、高性能、高弹性的数据库服务。
40 1
|
4月前
|
分布式数据库 数据库 数据库管理
什么是分布式数据库
什么是分布式数据库
|
4月前
|
NoSQL 中间件 API
分布式锁【数据库乐观锁实现的分布式锁、Zookeeper分布式锁原理、Redis实现的分布式锁】(三)-全面详解(学习总结---从入门到深化)(下)
分布式锁【数据库乐观锁实现的分布式锁、Zookeeper分布式锁原理、Redis实现的分布式锁】(三)-全面详解(学习总结---从入门到深化)
82 2
|
6天前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
存储 传感器 数据管理
【软件设计师备考 专题 】面向对象数据库和分布式对象:理解新的数据管理概念
【软件设计师备考 专题 】面向对象数据库和分布式对象:理解新的数据管理概念
54 0
|
2月前
|
存储 数据采集 数据挖掘
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
204 0
|
2月前
|
存储 SQL 分布式计算
TiDB整体架构概览:构建高效分布式数据库的关键设计
【2月更文挑战第26天】本文旨在全面概述TiDB的整体架构,深入剖析其关键组件和功能,从而帮助读者理解TiDB如何构建高效、稳定的分布式数据库。我们将探讨TiDB的计算层、存储层以及其他核心组件,并解释这些组件是如何协同工作以实现卓越的性能和扩展性的。通过本文,读者将能够深入了解TiDB的整体架构,为后续的学习和实践奠定坚实基础。
|
2月前
|
运维 关系型数据库 分布式数据库
客户说|从4小时到15分钟,一次分布式数据库的丝滑体验
识货APP致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购朋友带来及时劲爆的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。它提供了全球范围内的时尚品牌、潮流单品的信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。近年来,各大电商平台上的商品信息持续增加,海量商品信息增加了消费者的选购成本。识货从用户视角出发,不断整合行业渠道供给,降低发现和筛选成本,帮助用户更高效地购买到最具性价比的产品。