导出本地数据，再导入到rds for postgresql中，需要尽快完成。请问有什么方法吗？

Kettle简介 Kettle(现也称为Pentaho Data Integration，简称PDI)是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展，kettle可以支持各类数据源。 下图显示了Kettle和ADB for PostgreSQL之间的关系，数据源通过Kettle进行ETL或数据集成操作以后可以和ADB for PostgreSQL进行交互：​ Kettle支持的数据来源非常丰富，主要包括以下分类：​ 表输入 文本文件输入 生成记录/自定义常量 获取系统信息 各类格式文件输入 Json输入 以及其他输入 更详细的输入可以从界面中的“核心对象”的“输入”分类中查看。 Kettle支持的表输入来源自数据库连接中使用SQL语句获取，其中数据库连接支持非常丰富的连接方式，包括： Native(JDBC)连接 ODBC连接 OCI连接 JNDI连接 通过这些连接方式，可以支持连接大多数主流数据库，如Oracle, SQL Server, MySQL, DB2, PostgreSQL, Sybase, Teradata等等，更详细的连接信息可以参考官方文档：https://help.pentaho.com/Documentation/8.2/Setup/Configuration/Define_Data_Connections Kettle导入到ADB for PostgreSQL Kettle支持导入到ADB for PostgreSQL的方式 目前，Kettle支持的数据导入到ADB for PostgreSQL的方式有： 导入方式 说明 表输出(INSERT方式) 采用JDBC作为导入方式 支持批量插入，批量插入使用JDBC的batch insert方法 批量加载(COPY方式) 采用COPY作为导入方式 对于大表，COPY方式性能达到批量插入性能的10倍左右 表输出(INSERT方式)导入会流过Master节点并做解析之后分布到对应的Segment节点上，这种方式相对较慢并且不适合导入大量数据。批量加载(COPY方式)导入方式比INSERT语句插入多行的效率更高。 以下将分别介绍如何通过这两种方式将外部数据迁移到AnalyticDB for PostgresSQL。 准备工作 使用Kettle将外部数据导入AnalyticDB for PostgresSQL之前，需要完成以下准备工作。 在本地主机中安装kettle 在AnalyticDB for PostgreSQL中创建目标数据库、模式和表。 表输出方式导入数据到ADB for PostgreSQL Kettle采用表输出方式，支持使用通用的JDBC接口，从各种数据库源导入到ADB for PostgreSQL中。以下就以MySQL为例说明如何通过JDBC接口导入数据到ADB for PostgreSQL中。 1.在Kettle中新建一个转换。2.在转换中新建一个MySQL数据库连接作为输出源，详细的参数配置如下表所示。配置参数时，不要勾选Use Result Streaming Cursor。​ 配置项 说明 连接名称 数据连名 连接类型 选择MySQL 连接方式 选择Native（JDBC） 主机名 MySQL的连接地址 数据库名称 MySQL的数据库名 端口号 连接地址对应的端口号 用户名 用户名 密码 用户密码 3.完成上述参数配置后，单击测试测试连通性，测试通过后单击确认。4.在转换中新建一个Greenplum数据库连接作为输入源，详细的参数配置如下表所示。​ 配置项 说明 连接名称 数据连名 连接类型 选择Greenplum 连接方式 选择Native（JDBC） 主机名 AnalyticDB for PostgreSQL的连接地址 数据库名称 AnalyticDB for PostgresSQL的数据库名 端口号 连接地址对应的端口号 用户名 用户名 密码 用户密码 5.​完成上述参数配置后，单击测试测试连通性，测试通过后单击确认。6.在kettle左侧核心对象的输入中，找到表输入，并将其拖动入到工作区。7.双击工作区的表输入，在表输入对话框中进行参数配置。8.在Kettle左侧核心对象的输出中，找到表输出，并将其拖动入到工作区。9.双击工作区的表输出，在表输出对话框中进行参数配置。10.新建一条表输入到表输出的连接线。11.单击白色三角箭头运行转换，观察运行日志和运行状态。 待MySQL数据成功导入AnalyticDB for PostgreSQL后，您就可以使用AnalyticDB for PostgreSQL进行数据分析。 批量加载方式导入数据到ADB for PostgreSQL Kettle支持使用批量加载方式（COPY方式）导入数据到ADB for PostgreSQL中。下面步骤举例说明通过从外部文件中批量加载数据到ADB for PostgreSQL中。 在Kettle中新建一个转换。 在转换中新建一个文本文件输入作为输出源。 双击文本文件输入的图表，选择输入的文本文件。 在“内容”选项卡中配置输入文件的分隔符。 在“字段”选项卡定义输入文件表中的字段。 在转换中新建一个Greenplum数据库连接作为输入源，详细的参数配置如下表所示。 完成上述参数配置后，单击测试测试连通性，测试通过后单击确认。 在Kettle左侧核心对象的批量加载中，找到PostgreSQL批量加载，并将其拖动入到工作区。 新建一条文件输入到PostgreSQL批量记载的连接线。 双击工作区的PostgreSQL批量加载图表，在批量加载对话框中进行参数配置： 单击白色三角箭头运行转换，观察运行日志和运行状态待数据成功导入AnalyticDB for PostgreSQL后，您就可以使用AnalyticDB for PostgreSQL进行数据分析。

问题答疑来自云栖社区-技术进阶[钉钉群]，喜爱PostgresSQL的同学扫码进群

我们的postgresql热门回答系列来啦，预计会有10个系列，期待ING。 1、请问下，pg主从复制数据一致性检查，有没有什么好的手段或者工具？ https://developer.aliyun.com/ask/136254 2、我装的citus是开源的，可以使用citus mx吗? https://developer.aliyun.com/ask/135798 3、大家有什么好的方法将excel中的数据导入到postgresql吗？ https://developer.aliyun.com/ask/132117 4、PostgreSQL是否在PDB CDB方面进行了部分开发？是哪部分涉及了? https://developer.aliyun.com/ask/128073 5、请问一下RDS数据库数据怎么导出来？ https://developer.aliyun.com/ask/21730 6、最近用迁移工具从oracle迁过来一个schema的数据，发现使用一段时间之后，schema数据全部消失，其余schema数据没有出现问题。 https://developer.aliyun.com/ask/59365 7、迁移 RDS for PostgreSQL 数据到本地 PostgreSQL https://developer.aliyun.com/ask/1004 8、postgresql流复制wal日志原理 https://developer.aliyun.com/ask/60769 9、如何快速导出导入数据到rds for postgressql? https://developer.aliyun.com/ask/54320 10、如何快速导出导入数据到rds for postgressql? https://developer.aliyun.com/ask/54320 *往期合集 【精品锦集】PostgreSQL热门回答01 https://developer.aliyun.com/ask/138959 【精品锦集】PostgreSQL热门回答02 https://developer.aliyun.com/ask/139296 【精品锦集】PostgreSQL热门回答03 https://developer.aliyun.com/ask/139720

喜爱PostgresSQL的同学扫码进群

问题答疑来自云栖社区-技术进阶[钉钉群]，喜爱PostgresSQL的同学扫码进群

问题答疑来自云栖社区-技术进阶[钉钉群]，喜爱PostgresSQL的同学扫码进群

对于轻量级GIS应用，选择具备时空能力的云上数据库再搭配开源GIS软件，能够快速构建稳定、廉价、实用的GIS解决方案。 Ganos是阿里云自研时空基础设施（PaaS层）的核心引擎，该引擎整合了云上异构计算并行加速、OSS大规模存储等基础设施能力，上层与RDS PostgresSQL数据库、POLARDB for PG/Oracle云原生数据库、HBase大数据等融合，为云计算基础产品提供了免费但专业级的时空数据存储、查询与分析计算能力。 本文主要介绍如何将Ganos作为数据源与GeoServer、uDig、QGIS等最常用的开源GIS软件对接，为基于开源GIS应用方案选型提供支撑。 支持常用各大开源GIS软件 因Ganos设计上充分兼容了PostGIS接口，因此理论上可以无缝对接支持PostGIS的各类软件生态。 选取部分常用开源GIS软件说明如下表所示： 开源GIS软件 软件定位 用途 Ganos作用 QGIS 基于C++的桌面GIS 数据的可视化、管理、编辑、分析以及印刷地图的制作，功能全面 兼容postgis形式的数据源 Geoserver GIS服务器软件 发布地图数据，允许用户对特征数据进行更新、删除、插入操作，方便共享空间地理信息 兼容postgis形式数据源 uDig 基于Java的桌面GIS 桌面GIS及开发框架，对互联网GIS、网络地图服务器和网络功能服务器有特别的加强 兼容postgis形式的数据源 OpenJump 基于Java的桌面 GIS 内置了地图编辑、可视化，GIS空间分析等操作，并可以通过插件方式进行功能的定制或拓展 兼容postgis形式的数据源 MapNik 基于Python/C++ 地图渲染引擎 数据形式的地图通过一个样式表的定义渲染成位图格式提供 WMS等服务 兼容postgis形式的数据源 以上主要集中在GIS最为常用的几何对象（矢量）部分，需要注意的是，Ganos在除了兼容PostGIS能力外，其他栅格、DEM、点云、网络、轨迹等高级时空特性也能与这些软件打通。如有这方面的需求，可以直接通过文末联系方式获得支持。 简单连接配置，即插即用 以下以QGIS、GeoServer、OpenJump、uDig为例，展示以阿里云PostgresSQL Ganos或POLARDB Ganos为数据源的对接与应用，其他基于PostGIS数据源驱动的开源3S软件等均类似，不再一一展开。 首先，需要通过阿里云主页购买RDS PostgresSQL、POLARDB for PG或POLARDB for Oracle实例（见文末链接，其中POLARDB for PG/Oracle目前可免费申请公测），并通过SQL插入或shp2pgsql工具导入矢量数据。 数据导入后，可以通过控制台自带的DMS工具查看所导入的数据： 接下来，可以基于Ganos数据源，采用开源GIS软件来执行各类操作。 （1）QGIS连接Ganos，可浏览、查看、编辑、分析Ganos中的空间数据。 （2）GeoServer连接Ganos，可以将矢量数据发布为WMS，WFS等服务，实现地理空间数据的快速共享应用。 （3）OpenJump连接Ganos ，可浏览、查看、编辑、分析Ganos中的空间数据。 （4）uDig连接Ganos ，可浏览、查看、编辑、分析Ganos中的空间数据。 不一样的底座，更强大能力 通过兼容PostGIS接口，Ganos具备了几乎即插即用、快速生态兼容的能力，且所有兼容PostGIS的代码都无需改动。同时，Ganos通过与阿里云基础设施融合，提供比自建PG+PostGIS更高系统稳定性和可靠性、更强数据处理能力和更大数据处理规模，尤其在时空轨迹数据处理能力上，要比原生PostGIS提高50-100性能。 后续Ganos将遵循OGC规范，适配更多数据种类，广泛支持包括开源和商业不同3S平台，逐步沉淀基础时空云计算能力到云计算基础平台，赋能ISV厂商，推动时空云计算作为数字化转型的基础引擎普惠到更多客户。 如何获取Ganos 时空引擎Ganos已无缝嵌入于阿里云以下数据库产品中，您无需为时空数据管理支付额外费用，了解更多相关信息请戳链接： RDS PostgreSQL with Ganos产品入口：https://www.aliyun.com/product/rds/postgresql POLARDB for PG/Oracle with Ganos产品入口（可申请免费公测）：https://www.aliyun.com/product/POLARDB HBase with Ganos产品入口：https://www.aliyun.com/product/hbase

对于轻量级GIS应用，选择具备时空能力的云上数据库再搭配开源GIS软件，能够快速构建稳定、廉价、实用的GIS解决方案。Ganos是阿里云自研时空基础设施（PaaS层）的核心引擎，该引擎整合了云上异构计算并行加速、OSS大规模存储等基础设施能力，上层与RDS PostgresSQL数据库、POLARDB for PG/Oracle云原生数据库、HBase大数据等融合，为云计算基础产品提供了免费但专业级的时空数据存储、查询与分析计算能力。本文主要介绍如何将Ganos作为数据源与GeoServer、uDig、QGIS等最常用的开源GIS软件对接，为基于开源GIS应用方案选型提供支撑。 支持常用各大开源GIS软件 因Ganos设计上充分兼容了PostGIS接口，因此理论上可以无缝对接支持PostGIS的各类软件生态。 选取部分常用开源GIS软件说明如下表所示： 开源GIS软件 软件定位 用途 Ganos作用 QGIS 基于C++的桌面GIS 数据的可视化、管理、编辑、分析以及印刷地图的制作，功能全面 兼容postgis形式的数据源 Geoserver GIS服务器软件 发布地图数据，允许用户对特征数据进行更新、删除、插入操作，方便共享空间地理信息 兼容postgis形式数据源 uDig 基于Java的桌面GIS 桌面GIS及开发框架，对互联网GIS、网络地图服务器和网络功能服务器有特别的加强 兼容postgis形式的数据源 OpenJump 基于Java的桌面 GIS 内置了地图编辑、可视化，GIS空间分析等操作，并可以通过插件方式进行功能的定制或拓展 兼容postgis形式的数据源 MapNik 基于Python/C++ 地图渲染引擎 数据形式的地图通过一个样式表的定义渲染成位图格式提供 WMS等服务 兼容postgis形式的数据源 以上主要集中在GIS最为常用的几何对象（矢量）部分，需要注意的是，Ganos在除了兼容PostGIS能力外，其他栅格、DEM、点云、网络、轨迹等高级时空特性也能与这些软件打通。如有这方面的需求，可以直接通过文末联系方式获得支持。 简单连接配置，即插即用 以下以QGIS、GeoServer、OpenJump、uDig为例，展示以阿里云PostgresSQL Ganos或POLARDB Ganos为数据源的对接与应用，其他基于PostGIS数据源驱动的开源3S软件等均类似，不再一一展开。首先，需要通过阿里云主页购买RDS PostgresSQL、POLARDB for PG或POLARDB for Oracle实例（见文末链接，其中POLARDB for PG/Oracle目前可免费申请公测），并通过SQL插入或shp2pgsql工具导入矢量数据。数据导入后，可以通过控制台自带的DMS工具查看所导入的数据： 接下来，可以基于Ganos数据源，采用开源GIS软件来执行各类操作。（1）QGIS连接Ganos，可浏览、查看、编辑、分析Ganos中的空间数据。（2）GeoServer连接Ganos，可以将矢量数据发布为WMS，WFS等服务，实现地理空间数据的快速共享应用。（3）OpenJump连接Ganos ，可浏览、查看、编辑、分析Ganos中的空间数据。（4）uDig连接Ganos ，可浏览、查看、编辑、分析Ganos中的空间数据。不一样的底座，更强大能力 通过兼容PostGIS接口，Ganos具备了几乎即插即用、快速生态兼容的能力，且所有兼容PostGIS的代码都无需改动。同时，Ganos通过与阿里云基础设施融合，提供比自建PG+PostGIS更高系统稳定性和可靠性、更强数据处理能力和更大数据处理规模，尤其在时空轨迹数据处理能力上，要比原生PostGIS提高50-100性能。后续Ganos将遵循OGC规范，适配更多数据种类，广泛支持包括开源和商业不同3S平台，逐步沉淀基础时空云计算能力到云计算基础平台，赋能ISV厂商，推动时空云计算作为数字化转型的基础引擎普惠到更多客户。 如何获取Ganos 时空引擎Ganos已无缝嵌入于阿里云以下数据库产品中，您无需为时空数据管理支付额外费用，了解更多相关信息请戳链接： RDS PostgreSQL with Ganos产品入口：https://www.aliyun.com/product/rds/postgresql POLARDB for PG/Oracle with Ganos产品入口（可申请免费公测）：https://www.aliyun.com/product/POLARDB HBase with Ganos产品入口：https://www.aliyun.com/product/hbase 有任何疑问或咨询，可扫码入群或关注微信公众号

按照阿里云官方文档的定义，阿里云RDS是： 阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容Oracle数据库）和MariaDB TX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 阿里云上的数据库类的服务有很多，并不限于阿里云RDS提供的这些，例如： PolarDB、阿里云自研的数据库引擎，主要面向在线事务处理场景（OLTP），对比RDS的区别主要是采取了共享存储的架构，计算集群和存储资源均可分别扩展，最大支持16个节点组成集群，每个节点最大88个vCPU，存储空间最高支持到100TB。目前提供MySQL编程接口的版本，支持兼容Oracle编程接口的版本正在公测。 分析型数据库ADS、主要面向分析型应用场景（OLAP），主要用于批量导入数据到ADS进行快速查询分析。目前提供MySQL和PostgresSQL版本。 HybridDB 、混合型数据库，同时适配在线事务处理（OLTP）和在线数据分析（OLAP）应用场景，可根据需要选择MySQL和PostgresSQL版本。 其他、另外还有MongoDB、Redis、Memcache、HBASE、表格存储、时序数据库、图数据库等。 说这些是为了要强调的是我们这次讨论的重点仅限于RDS，不包括上述这些数据库服务。RDS提供的数据库引擎和版本如下图所示： 观察一下不难发现，RDS提供的这些数据库都可以直接部署在ECS上，再对比一下购买成本就会看到RDS相同规格的购买成本要比ECS高了很多，到底是什么让RDS有底气卖的比ECS贵呢，RDS值得买么？我的观点是RDS值不值得买，要看你有多需要这些特性： 高可用、假如您的业务无法容忍计划外的停机，在云上搭建和运维数据库高可用集群需要管理员具备独孤九剑这样的本领。 自带备份、数据库圈里有一句话：DBA失去工作和得到工作通常都和备份有关。这是因为管理员失去工作通常都是因为把备份搞砸了，获得一份新工作很可能就是因为前一个管理员因为无法恢复数据库被开除了。 在线扩容、假如您的业务增长较快，ECS服务器上运行的数据库的每次扩容都会让数据库管理员有生无可恋的感觉。 主机安全、假如您是自己在ECS上搭建数据库服务，一旦ECS服务器的操作系统因为漏洞、弱口令或者什么其他原因被攻破，上面运行的数据库会如何？赶紧去换比特币吧！ 性能优化、到底怎么优化才能让数据库的性能更好毫无疑问是一项学问，在面对服务器、存储、网络、操作系统、数据库参数等等方方面面的细节的时候，您还对自己的优化技能有多大的自信？ 诊断工具、在遇到数据库性能问题时，好的诊断工具可以让管理员快速直观的定位和解决问题。老板和同事们通常只看结果不问过程，他们才不管你输入命令的手速和对数据库诊断命令的掌握程度。RDS配套的诊断工具能够更清晰直观的看到CPU、IO使用率、慢SQL、热点表、锁信息等这些数据库运行状态信息而不用东拼西凑的运行命令来收集这些信息。 RDS到底值不值得买？你自己看。