GPDB · 特性分析· Greenplum 备份架构

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: Greenplum是分布式数据库,这为备份带来了一些困难。其本身提供了一个工具是gpcrondump,对其二进制备份工具gp_dump做了一些封装,而gp_dump则是对pg_dump做了封装,在每个节点上执行pg_dump完成数据的备份。在其每个节点的行为上,与PG类似,但其分布式的架构,则有值得了解的地方。备份方法GP备份的工具gpcrondump是一个Python脚本,是对gp_du

Greenplum是分布式数据库,这为备份带来了一些困难。其本身提供了一个工具是gpcrondump,对其二进制备份工具gp_dump做了一些封装,而gp_dump则是对pg_dump做了封装,在每个节点上执行pg_dump完成数据的备份。在其每个节点的行为上,与PG类似,但其分布式的架构,则有值得了解的地方。

备份方法

GP备份的工具gpcrondump是一个Python脚本,是对gp_dump的一个封装。而gp_dump则负责整个备份过程的控制与结果处理,包括获取元数据信息、启动Segment节点备份、状态维护等动作。

gpcrondump

gpcrondump的详细参数:

gpcrondump -x database_name 
		[-s <schema> | -S <schema> | -t <schema>.<table> | -T <schema>.<table>]
		[--table-file=<filename> | --exclude-table-file=<filename>]
		[--schema-file=<filename> | --exclude-schema-file=<filename>] 
		[-u backup_directory] [-R post_dump_script] [--incremental] 
		[ -K <timestamp> [--list-backup-files] ] 
		[--prefix <prefix_string> [--list-filter-tables] ]
		[-c] [-z] [-r] [-f <free_space_percent>] [-b] [-h] [-j | -k] 
		[-g] [-G] [-C] [-d <master_data_directory>] [-B <parallel_processes>] 
		[-a] [-q] [-y <reportfile>] [-l <logfile_directory>]
		[--email-file <path_to_file> ] [-v]
		{ [-E encoding] [--inserts | --column-inserts] [--oids]
			[--no-owner | --use-set-session-authorization] 
			[--no-privileges] [--rsyncable] 
			{ [--ddboost [--replicate --max-streams <max_IO_streams> 
			[--ddboost-skip-ping] ] ] } |
			{ [--netbackup-service-host <netbackup_server> 
			--netbackup-policy <netbackup_policy> 
			--netbackup-schedule <netbackup_schedule> 
			[--netbackup-block-size <size> ] 
			[--netbackup-keyword <keyword> ] } }
     	...

更多参数请参考官方文档,或者查看命令help。对于详细的使用方法,这里不再讨论。

gpcrondump以DB为单位进行备份,当一次收到多个DB的备份请求时,则每个DB顺序依次进行备份。针对每个DB,gpcrondump会做一些预处理后,组织一个完整的gp_dump执行命令后执行。最基本的gp_dump命令如下:

"gp_dump -p %d -U %s --gp-d=%s --gp-r=%s --gp-s=p --gp-k=%s --no-lock" % (self.master_port, user_name, dump_path, report_path, timestamp_key)

gpcrondump不同的参数带来不同的gp_dump命令,比如“–table-file”等。

gp_dump

gp_dump是真正进行数据备份的主体。其操作的主要步骤如下:

  1. 参数、数据对象的处理

    除了对参数处理以外,这里的行为与pg_dump相似,会对需要导出的数据对象、依赖关系等进行处理。

  2. 连接Master,获取元数据信息

    从这里,获取每个Segment的信息,包括主机、端口、角色等。

  3. 根据元数据连接到各个Segment和Master

    根据第一步获取的Segment信息,获取角色为’p’的Segment和Master,保证连到的是活跃的节点。针对每个Segment或Master,会单独启动一个线程进行连接。

    在连接到节点后,会创建消息通知机制。通过不同的消息通知,对该节点的备份情况进行及时响应,并对整体的备份及时做出调整,如取消等。

    之后,将gpcrondump组织的参数,组织成gp_backup_launch函数的入参,调用执行。

  4. 之后调用gp_backup_launch函数,在Segment端启动一个Agent进程

    根据参数的不同,gp_backup_launch函数会启动不同的独立Agent进程。默认的是gp_dump_agent,这个Agent会封装pg_dump。GP也支持备份到Data Domain Boost等外部存储,即在独立的Agent进程中调用不同的agent工具。

    gp_backup_launch函数会等待gp_dump_agent执行结束后返回结果。

  5. 每个Segment端启动的Agent进程会再次连接到自身

    Agent的实现与PG的pg_dump基本类似。不同的是,在参数处理之后,会将这个节点的隔离级别设置为串行。因此,多少会对备份期间的事务性能产生一定影响。而如果只是查询的话则影响不大。

    pg_dump和gp_dump_agent的实现都是用COPY或者FETCH语句将表的数据导出。

  6. 结果返回

    在gp_dump_agent执行结束后,结果返回作为每个节点上gp_backup_launch函数的执行结果。

  7. 节点连接线程维护状态机

    gp_dump连接到每个节点的线程启动运行状态机,检查其他并行线程的状态、监听当前线程的通知,当任何一个出现失败,即取消备份

时序图

gpcrondump_timingchart

总结

GP备份的机制充分利用了每个节点的并行,可以极大的提高备份速度。一方面单个节点的数据量可以控制在一定范围,另一方面不同节点之间并行互不影响。

而在分布式中,比较麻烦的是保持多节点事务一致性和异常情况的处理。其中事务一致性是通过在每个节点上开启事务并设置隔离级为串行做到;异常情况则是通过多线程之间通信和PG的消息通知来实现。

Hope you have fun.

目录
相关文章
|
4月前
|
消息中间件 存储 Kafka
【Kafka】Kafka 架构设计分析
【4月更文挑战第5天】【Kafka】kafka 架构设计分析
|
4月前
|
设计模式 安全 Java
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
86 0
|
19天前
|
消息中间件 负载均衡 Kafka
Kafka 实现负载均衡与故障转移:深入分析 Kafka 的架构特点与实践
【8月更文挑战第24天】Apache Kafka是一款专为实时数据处理和流传输设计的高性能消息系统。其核心设计注重高吞吐量、低延迟与可扩展性,并具备出色的容错能力。Kafka采用分布式日志概念,通过数据分区及副本机制确保数据可靠性和持久性。系统包含Producer(消息生产者)、Consumer(消息消费者)和Broker(消息服务器)三大组件。Kafka利用独特的分区机制实现负载均衡,每个Topic可以被划分为多个分区,每个分区可以被复制到多个Broker上,确保数据的高可用性和可靠性。
39 2
|
19天前
|
数据采集 存储 Java
Flume Agent 的内部原理分析:深入探讨 Flume 的架构与实现机制
【8月更文挑战第24天】Apache Flume是一款专为大规模日志数据的收集、聚合及传输而设计的分布式、可靠且高可用系统。本文深入解析Flume Agent的核心机制并提供实际配置与使用示例。Flume Agent由三大组件构成:Source(数据源)、Channel(数据缓存)与Sink(数据目的地)。工作流程包括数据采集、暂存及传输。通过示例配置文件和Java代码片段展示了如何设置这些组件以实现日志数据的有效管理。Flume的强大功能与灵活性使其成为大数据处理及实时数据分析领域的优选工具。
43 1
|
30天前
|
消息中间件 存储 大数据
大数据-数据仓库-实时数仓架构分析
大数据-数据仓库-实时数仓架构分析
81 1
|
2月前
|
供应链 负载均衡 数据库
软件架构一致性问题之分析代码修改的 Scalability如何解决
软件架构一致性问题之分析代码修改的 Scalability如何解决
33 1
|
3月前
|
存储 数据采集 分布式计算
Java中的大数据处理与分析架构
Java中的大数据处理与分析架构
|
2月前
|
前端开发 Linux Shell
技术心得:基于AR9331(MIPS架构)分析系统启动过程(uboot)
技术心得:基于AR9331(MIPS架构)分析系统启动过程(uboot)
26 0
|
3月前
|
前端开发 JavaScript 安全
TypeScript作为一种静态类型的JavaScript超集,其强大的类型系统和面向对象编程特性为微前端架构的实现提供了有力的支持
【6月更文挑战第11天】微前端架构借助TypeScript提升开发效率和代码可靠性。 TypeScript提供类型安全,防止微前端间通信出错;智能提示和自动补全加速跨代码库开发;重构支持简化代码更新。通过定义公共接口确保一致性,用TypeScript编写微前端以保证质量。集成到构建流程确保顺利构建打包。在微前端场景中,TypeScript是强有力的语言选择。
42 2
|
3月前
|
存储 SQL Oracle
主流关系型数据库存储架构层的差异分析
主流关系型数据库存储架构层的差异分析