-
将Greenplum并行备份恢复到配置不同的新集群
在Greenplum中，我们可以使用 gp_restore 或者 gpdbrestore 对数据库进行并行恢复，但是并行恢复要求要恢复的新集群与备份集群拥有同样的配置（节点实例数量）。但是如果我们的新集群节点数与原集群不一样怎么办？还...文章 2017-07-28 3867浏览量 -
Deepgreen&Greenplum DBA小白普及课之三（备份问题...
使用pg_dumpall工具可以把所有数据库的信息导出来，其中也包含资源队列和角色，导出所有数据库的schema可以用下面例句： pg_dumpall-gp-syntax-schema-only>db_dump.sql 8.如何复制一个数据库？下面命令可以创建...文章 2017-07-02 2696浏览量 -
阿里云数据库Greenplum版发布啦
用户现有Greenplum数据仓库可以通过原生的导出及导入方式将数据直接迁移到ApsaraDB for Greenplum实现云端数据仓库的OLAP在线分析使用。用户无需再进行复杂的Greenplum运维管理，同时阿里云为用户提供完整的扩容及...文章 2016-07-11 24469浏览量 -
ArcSDE 10.1安装与配置
（12）Export XML Workspace Document 工具和Import XML Workspace Document工具提供导出空间数据库schema，能将一个库的schema复制出来。8、连接属性维护方面 1）客户端可以控制Geodatabase是否能接受新的连接： ...文章 2017-11-02 1176浏览量 -
Greenplum应用最佳实践
数据Load策略*_gpfdist/gpload_-使用 gpfdist 进行数据的加载和导出。随着段数据库个数的增加,并行性增加。尽量将数据均匀地分布到多个 ETL 节点上。将非常大的数据文件切分成相同大小的块,并放在尽量多的文件系统上...文章 2021-11-06 547浏览量 -
GPDB·特性分析·Greenplum 备份架构
pg_dump和gp_dump_agent的实现都是用COPY或者FETCH语句将表的数据导出。结果返回 在gp_dump_agent执行结束后，结果返回作为每个节点上gp_backup_launch函数的执行结果。节点连接线程维护状态机 gp_dump连接到每个...文章 2017-03-08 2572浏览量 -
MySQL准实时同步到PostgreSQL,Greenplum的方案之一-...
此工具的原理是，同时连接源端 mysql 数据库和目的端数据库，从 mysql 库中通过查询得到要导出的数据，然后通过 COPY 命令导入到目的端。此工具支持多线程导入（每个工作线程负责导入一部分数据库表）。参数配置 ...文章 2017-10-28 10561浏览量 -
GP的使用心得
工具"添加XY数据"的输出比较特殊，由此工具创建的是临时图层，需要保存，在ArcMap中右键导出结果即可，在ArcEngine中调用GP工具CopyFeatures（复制要素），FeatureToPoint（要素转点）或FeatureClassToFeatureClass...文章 2014-12-10 1327浏览量 -
【学习资料】第2期PostgreSQL、Greenplum 技术+108个...
案例19 综合应用案例20 数据订阅、单元化、容灾、多机房21 读写分离22 水平扩展23 估值计算24 实时经营分析系统25 schemaless 架构设计案例26 数据可视化27 生物科技28 异步调用与并行计算29 海量数据大吞吐导出、...文章 2021-10-10 501浏览量 -
数据库案例集锦-开发者的《如来神掌》
10、《PostgreSQL 时序数据库插件 timescaleDB 部署实践(含例子 纽约TAXI数据透视分析)-PostGIS+timescaleDB=gt;PG时空数据库》 11、《PostgreSQL 异步消息实践-Feed系统实时监测与响应(如 电商主动服务)-分钟级到...文章 2017-06-09 16186浏览量 -
ADBPG&Greenplum成本优化之磁盘水位管理
Greenplum的磁盘管理简介1 ADB PG磁盘管理的关键技术点ADB PG是基于Greenplum（简称“GP”）内核修改的MPP数据库，对于磁盘空间管理来讲，有几个技术点与Greenplum是通用的：（1）业务数据主要分布在Segment节点；...文章 2022-01-14 159浏览量 -
ADBPG&Greenplum成本优化之磁盘水位管理
Greenplum的磁盘管理简介1 ADB PG磁盘管理的关键技术点ADB PG是基于Greenplum（简称“GP”）内核修改的MPP数据库，对于磁盘空间管理来讲，有几个技术点与Greenplum是通用的：（1）业务数据主要分布在Segment节点；...文章 2022-01-12 148浏览量 -
ADBPG&Greenplum成本优化之磁盘水位管理
Greenplum的磁盘管理简介1 ADB PG磁盘管理的关键技术点ADB PG是基于Greenplum（简称“GP”）内核修改的MPP数据库，对于磁盘空间管理来讲，有几个技术点与Greenplum是通用的：（1）业务数据主要分布在Segment节点；...文章 2022-01-14 497浏览量 -
[雪峰磁针石博客]渗透测试工具简介11 SQL 注入
它用于检索和操作数据库中的数据。什么是SQL注入？SQL注入使动态SQL语句注释掉语句的某些部分或附加始终为真的条件来执行恶意SQL代码。可以使用SQL注入执行的攻击类型和数据库引擎相关。攻击适用于动态SQL语句。动态...文章 2018-11-12 1792浏览量 -
【数据库选型】ClickHouse vs PostgreSQL vs ...
确保一致备份的唯一方法是停止对数据库的所有写入操作缺少事务和数据一致性也会影响其他特性&xff0c;如物化视图&xff0c;因为服务器不能一次自动更新多个表。如果在向包含物化视图的表的多部分插入过程中出现中断&xff0c...文章 2023-01-12 394浏览量 -
Greenplum在企业生产中的最佳实践（下）
因为导出的话，还是需要非结构化数据。所以要再把它转化成非结构化数据，因为GP里面支持非常多的函数，包括C等语言，我们都可以灵活的去自定义这样的一些函数，去做一些非结构化的数据的处理。但是总的来说，它在...文章 2017-08-02 3519浏览量 -
曾文旌的私房菜：开源数据库Greenplum Database的实现...
把增量成批地导出到文本，然后再成批地导入到GPDB里面去，最后再用合并的方式合并到原有的数据库，变相做到增量入库。容错，上面提到通过备份的方式容错，这个有一定的局限性。改进空间，比如，它支持的存储方式有列...文章 2016-09-22 7958浏览量 -
阿里云HybridDB for PG 空间紧张的解法-冷热分离、...
导出需要创建可写外部表，然后将本地表的数据写出。如果需要读取OSS中大数据，需要创建可读外部表。6、使用压缩表（列存，大BLOCK压缩效果好，还可以使用聚集提高压缩比）。Command:CREATE TABLE Description:define...文章 2018-09-15 2543浏览量 -
【PostgreSQL 创新营】第六课：PostgreSQL复制原理及...
建议从数据库端实现数据的一致性保障!Q9：ECOX开源吗？商业系统，可自行下载测试：https://w3.ww-it.cn/Fileud/lists/cate_id/30 Q10：siupan,pg_auto_failover是否可用于生产环境？建议复查代码逻辑 Q11:repmgr里面...文章 2021-01-27 332浏览量 -
GP开发示例：数据库去重
3.因为是直接对数据库进行操作，所以首先就要遍历数据中的要素图层，一般做法是利用GP的ListFeatureClasses方法。GP.SetEnvironmentValue("workspace",moreDBPath.Trim());IGpEnumList pGpEnumList=GP....文章 2015-01-09 1446浏览量 -
每天万亿+级 实时分析、数据规整-阿里云HybridDB for ...
前面谈到了视角问题，我们可能有多重视角来观察数据，而在数据库中只能选择一种固定的分布键，当视角与之不同时，就需要重分布。准实时导出的优化： 对于一个视角，可能有少量或多种属性，例如用户实际，假设有100万...文章 2017-07-29 3404浏览量 -
【RAC】RAC相关基础知识
ASM(Automated Storage Management)是Oracle 10G引入的一种文件类型，他提供了直接的I/O读写，是RAC体系下一套不错的对数据文件存储规划的方案.ASM可以自动管理磁盘组，并提供数据冗余和优化.后面章节会就ASM的管理...文章 2017-06-25 2262浏览量 -
从 OSS 装载数据到 PostgreSQL
为了对id和key隐藏，我们通过对id和key进行对称加密实现(不同的实例使用不同的秘钥，最大限度保护用户信息)，但是不能使用类似GP那样，增加一个数据类型，因为会不兼容老实例。最终的加密后的信息如下： postgres=...文章 2016-08-23 4002浏览量 -
HybridDB·最佳实践·OLAP和OLTP一体化打造
那么，可以将site_0、site_1、site_2分别导入不同的GP实例，或同一个GP实例的不同表中，以达到数据拆分的目的。当数据量不是特别大的时候，也可以通过下面语句直接进行分析而不必将数据完全导入，以实现快速的检查性...文章 2017-03-08 1833浏览量 -
HybridDB最佳实践——实现OLAP和OLTP一体化打造
利用对OSS外表的读写这一强大的功能，可以很方便地通过SQL实现对数据的清洗、过滤、导出等功能。上面的"insert into.select."语句中的select子句可以换成任意条件的查询，从而达到数据处理的目的。PostgreSQL->...文章 2016-12-20 5969浏览量 -
[视频]云原生数据仓库 AnalyticDB PostgreSQL 版解析...
多活协调节点:Cascade架构SQL优化器全局分布式事务管理计算节点水平扩展:计算任务全并行执行新一代向量化计算引擎非结构化数据检索高可靠存储引擎:本地数据双副本支持行存储/列存储高吞吐导入/导出分布式事务支持:...文章 2022-11-24 72浏览量 -
GDB矢量文件检查结果导出GDB/SHP的思路分析
主要针对要导出的数据格式为GDB类型的输出文件&xff1b;两种思路的差异是&xff1a;前者将整个GDB以文件形式拷贝&xff0c;然后在删除不需要的图层&xff1b;后者新建GDB文件&xff0c;然后只拷贝需要的要素类1.1 整体拷贝&43;...文章 2022-12-30 163浏览量 -
安装部署|学习笔记
一、sqoop 安装二、安装验证一、sqoop 安装sqoop 的安装和根据自带的软件检测安装是否成功由于再进行数据的导入导出时&xff0c;底层是根据 mapredure 程序&xff0c;所以在安装前必须保证 java 和 hadoop 环境是正常的&...文章 2022-11-18 46浏览量 -
带你读《Python数据分析与数据化运营（第2版）》之一...
强大的数据获取和集成能力：Python除了可以支持多种类型的文件（图像、文本、日志、语音、视频等）和数据库集成外，还能通过API、网络抓取等方式获取外部数据，内、外部数据源整合、多源数据集成、异构数据并存、多...文章 2019-11-08 2926浏览量 -
Silverlight/Windows8/WPF/WP7/HTML5周学习导读(9月3...
Silverlight4中上传EXCEL并将EXCEL文件数据插入到SQL数据库中 dennyqiu Silverlight 5 研究（1） Vincent.Tianjin Silverlight中C#写动画设置 zou90512 Silverlight笔记 mypc2010 Silverlight渐隐效果 mypc2010 ...文章 2017-11-15 1163浏览量
