分布式数据库Couchbase 集群迁移-2

简介: 在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移。其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。


    在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移。其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。

    在进行主题之前先补充一下分布式数据库 Couchbase 一些基本概念:在 Couchbase 的集群架构中,没有中心节点和 Router 的概念,这些工作是由 Smartclient 完成的,在客户端与 Couchbase Server 交互时,Couchbase 集群是作为一个黑匣子存在的。客户端负责客户程序与群集里独立节点的通信,首次连接的那个节点并不会充当代理或者分发的角色。Smartclient 或 Moxi( Couchbase Server 端的 Proxy组件)会加载 vBucket 映射表,并决定连接到集群里的哪个节点去获取和存储数据。如果集群的拓扑图改变了(比如执行 Rebalance 或者 Ffailover 操作),客户端库会自动处理任何会话错误。可以这样理解,集群的配置和结构,对应用程序是透明的,我们无需去过多关注。

     什么是 Buckets,Buckets 是独立的虚拟的数据容器,一个 Bucket 就是 Couchbase服务器集群中的一个逻辑组,可以被集群中的多个客户端应用使用。它提供安全的机制来组织、管理、分析数据存储资源。

     什么是 vBuckets,一个 vBucket 定义为 Couchbase 集群里 Key 空间的一个子集的拥有者。通过使用 vBuckets,信息在集群里分发更有效。vBucket 系统被用于分布式数据,以及支持多节点间的数据复制。

    在 Couchbase 中 Bucket有两种类型,一种是 Couchbase 类型,另一种是 Memcache类型,Couchbase 类型 Bucket 支持数据的持久化,因为它的数据是存储在磁盘上,把活跃的数据读取到内存中供客户端使用(后续的备份和Failover也仅是针对这种类型的 Bucket),而 Memcache 类型的 Bucket 是内存级别的,所有的数据均保存在内存中。现在我们开始切入主题,我们老的 Couchbase 服务器,使用了这两种类型的 Bucket,我们使用 Couchbase 类型的 Bucket存储的是持久化的数据,供我们的客户端调用,这部分数据相当重要且不能丢失。

    基本思路:

    1、备份老的 Couchbase 服务数据

   2、将新 Couchbase 服务器加入到老服务器集群中,并通过 Rebalance 同步两台服务器 Cache 数据

    3、修改客户端 Couchbase 配置节点

    4、Failover 老服务器进行升级

   本文主要基于 CBTRANSFER 操作方案以实现 Couchbase 集群迁移。具体如下所示:

    我们先描述当前的环境信息,具体如下所示:

    --- 环境描述:CentOS release 6.7 (Final)

    --- 源主机IP:10.10.10.10(此处真实地址已xx)

    --- 目标主机IP:11.11.11.11(此处真实地址已xx)

    --- 应用服务:Couchbase-server-enterprise-5.5.2-centos6.x86_64.rpm版本

     CBTRANSFER

     基于集群之间或者数据文件进行转换以实现无缝迁移。其语法为:


cbtransfer [options] source destination

       具体如下所示:


[root@testserver bin]# ./cbtransfer -u Administrator -p password http://10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main
  //  http://10.10.10.10:8091 参数为源主机
  //  http://11.11.11.11:8091 参数为目标主机
  //  -b 参数为源主机对应的bucket信息
  //  --bucket-destination 参数为目标主机对应的bucket信息
  .
  bucket: xwf_main, msgs transferred...
          :                total |       last |    per sec
    byte  :                    0 |          0 |        0.0
    done

[root@testserver bin]#./cbtransfer -v -u Administrator -p password http:/10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main

2016-01-03 14:55:17,477: mt cbtransfer...

2016-01-03 14:55:17,478: mt  source : http://10.10.10.10:8091

2016-01-03 14:55:17,478: mt  sink   : http://11.11.11.11:8091

2016-01-03 14:55:17,478: mt  opts   : {'username': '<xxx>', 'destination_vbucket_state': 'active', 'verbose': 1, 'extra': {'max_retry': 10.0, 'rehash': 0.0,'dcp_consumer_queue_length': 1000.0, 'data_only': 0.0, 'uncompress': 0.0, 'nmv_retry': 1.0, 'conflict_resolve': 1.0, 'cbb_max_mb': 100000.0, 'report': 5.0, 'mcd_compatible': 1.0, 'try_xwm': 1.0, 'backoff_cap': 10.0, 'batch_max_bytes': 400000.0, 'report_full': 2000.0, 'flow_control': 1.0, 'batch_max_size': 1000.0,'seqno': 0.0, 'design_doc_only': 0.0, 'allow_recovery_vb_remap': 0.0, 'recv_min_bytes': 4096.0}, 'collection': None, 'ssl': False, 'threads': 4, 'key': None,'password': '<xxx>', 'id': None, 'destination_operation': None, 'source_vbucket_state': 'active', 'silent': False, 'dry_run': False, 'single_node': False, 'bucket_destination': 'xwf_main', 'vbucket_list': None, 'separator': '::', 'bucket_source': 'xwf_main'}

2016-01-03 14:55:17,492: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:17,604: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:17,697: mt bucket: xwf_main

2016-01-

03 14:55:17,940: w0 source: http://10.10.10.10:8091(xwf_main@10.10.10.10:8091)

2016-01-

03 14:55:17,940: w0 sink: http://11.11.11.11:8091(xwf_main@10.10.10.10:8091)

2016-01-03 14:55:17,941: w0 :                total |       last |    per sec

 .

 bucket: xwf_main, msgs transferred...

         :                total |       last |    per sec

   batch :                    0 |          0 |        0.0

   byte  :                    0 |          0 |        0.0

   msg   :                    0 |          0 |        0.0

2016-01-03 14:55:17,998: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,003: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,054: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:18,061: mt Starting new HTTP connection (1): 11.11.11.11

2016-01-03 14:55:18,103: mt Starting new HTTP connection (1): 10.10.10.10

2016-01-03 14:55:18,110: mt Starting new HTTP connection (1): 10.10.10.10

done

     至此,一个简单的关于 Couchbase 集群迁移操作轻松搞定,后续仅需要对新的集群进行 Rebalancing 操作即可。


相关文章
|
3天前
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
14 0
|
3天前
|
存储 缓存 大数据
【大数据】分布式数据库HBase
【大数据】分布式数据库HBase
25 0
|
6天前
|
供应链 物联网 分布式数据库
区块链技术作为一种新兴的分布式数据库技术,正逐渐改变着我们的生产和生活方式。而智能合约作为区块链技术的重要应用之一
【6月更文挑战第10天】本文探讨了区块链技术与智能合约的界限及其带来的挑战。区块链,以其不可篡改性和安全性,已广泛应用于金融、供应链和物联网等领域。智能合约作为区块链的关键应用,实现了自动、安全和不可篡改的合约执行。然而,技术上的扩展性、性能问题和安全漏洞,以及法律监管的困境,构成了当前的主要挑战。尽管如此,随着技术进步和应用场景的拓宽,区块链与智能合约有望在未来发挥更大潜力。
46 0
|
10天前
|
存储 安全 关系型数据库
分布式数据库的性能和安全麻烦
【6月更文挑战第6天】该文探讨了分布式系统中节点交互的两种方式,并对比mysql和oracle两个数据库的CAP平衡模式。
36 0
分布式数据库的性能和安全麻烦
|
11天前
|
监控 NoSQL 数据建模
使用Apache Cassandra进行分布式数据库管理的技术实践
【6月更文挑战第5天】本文探讨了使用Apache Cassandra进行分布式数据库管理的技术实践。Cassandra是一款高性能、可扩展的NoSQL数据库,适合大规模、高并发场景。文章介绍了其高可扩展性、高性能、高可用性和灵活数据模型等核心特性,并详细阐述了环境准备、安装配置、数据建模与查询以及性能优化与监控的步骤。通过本文,读者可掌握Cassandra的运用,适应不断增长的数据需求。
|
12天前
|
存储 缓存 NoSQL
浅谈分布式数据库系统
【6月更文挑战第4天】该文探讨了数据库管理系统的解决方案,建议使用Redis和MQ作为缓存和中转,减轻数据库压力。分布式系统需透明处理数据位置,解决查询执行和正确性问题。了解这些底层设计有助于应对性能挑战。
34 8
浅谈分布式数据库系统
|
26天前
|
Cloud Native 数据管理 关系型数据库
【阿里云云原生专栏】云原生数据管理:阿里云数据库服务的分布式实践
【5月更文挑战第21天】阿里云数据库服务在云原生时代展现优势,应对分布式数据管理挑战。PolarDB等服务保证高可用和弹性,通过多副本机制和分布式事务确保数据一致性和可靠性。示例代码展示了在阿里云数据库上进行分布式事务操作。此外,丰富的监控工具协助用户管理数据库性能,支持企业的数字化转型和业务增长。
192 1
|
26天前
|
存储 分布式计算 Java
大数据存储技术(3)—— HBase分布式数据库
大数据存储技术(3)—— HBase分布式数据库
189 0
|
27天前
|
关系型数据库 分布式数据库 PolarDB
【PolarDB开源】PolarDB开源之旅:从零开始搭建分布式数据库集群
【5月更文挑战第20天】PolarDB,阿里云自研的云原生分布式数据库,因其高性能、高可用和易用性备受瞩目。本文指导如何搭建PolarDB集群:准备硬件和软件环境,从GitHub克隆源码,构建Docker镜像,部署控制节点和计算节点,最后验证集群状态。通过开源,PolarDB旨在推动数据库技术进步,邀请用户一同探索其潜力,共创未来。
84 4
|
1月前
|
算法 Go 分布式数据库
构建高可用的分布式数据库集群:使用Go语言与Raft共识算法
随着数据量的爆炸式增长,单一数据库服务器已难以满足高可用性和可扩展性的需求。在本文中,我们将探讨如何使用Go语言结合Raft共识算法来构建一个高可用的分布式数据库集群。我们不仅会介绍Raft算法的基本原理,还会详细阐述如何利用Go语言的并发特性和网络编程能力来实现这一目标。此外,我们还将分析构建过程中可能遇到的挑战和解决方案,为读者提供一个完整的实践指南。