postgresql_fdw 跨数据库查询

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介:


--PostgreSQL的数据库逻辑上是相互独立的,和Oracle类似,如果要访问其他数据库,需要做跨库操作,
--Postgres本身提供了一些扩展,比如dblink,pgsql_fdw等,高版本的建议使用postgres_fdw,也就是pgsql_fdw的升级版。 


远端数据准备
postgres=# show search_path;
 search_path 
-------------
 schema_fdw
(1 row)
postgres=# create table tbl_kenyon (id int,remark text);
CREATE TABLE
postgres=# insert into tbl_kenyon select generate_series(1,100),'Kenyon Go!';
INSERT 0 100

二、安装使用 
 安装分4步走 
1.本地安装extension 
--安装的扩展名是来自于share/extension/*.control中的文件名*,比如postgres_fdw.control
postgres=# create extension postgres_fdw;
CREATE EXTENSION
postgres=# select * from pg_extension ;
 extname     | extowner | extnamespace | extrelocatable | extversion | extconfig | extcondition   -------------------+----------+--------------+----------------+------------+-----------+
 plpgsql            |       10 |           11 | f              | 1.0        |           | 
 pg_stat_statements |       10 |         2200 | t              | 1.1        |           | 
 postgres_fdw       |       10 |         2200 | t              | 1.0        |           | 
(3 rows)
postgres=# select * from pg_foreign_data_wrapper;
  fdwname    | fdwowner | fdwhandler | fdwvalidator | fdwacl | fdwoptions 
  ------------+----------+------------+--------------+--------+------------
 postgres_fdw |       10 |     154356 |       154357 |        | 
(1 row)

postgres=# \dx
                                     List of installed extensions
      Name        | Version |  Schema |                        Description                     -----------------+---------+------------+-----------------------------------------------------
 pg_stat_statements | 1.1     | public |track execution statistics of all SQL statements executed
 plpgsql            | 1.0     | pg_catalog | PL/pgSQL procedural language
 postgres_fdw       | 1.0     | public     | foreign-data wrapper for remote PostgreSQL servers
(3 rows)

2.本地创建server并查看 
该server作用是在本地配置一个连接远程的信息,下面的配置是要连接到远程DB名称是postgres数据库
postgres=# create server server_remote_rudy_01 foreign data wrapper postgres_fdw options(host 'rudy_01',port '5432',dbname 'postgres');
CREATE SERVER
postgres=# select * from pg_foreign_server ;
     srvname      | srvowner | srvfdw | srvtype | srvversion | srvacl |   srvoptions  
--------------+----------+--------+---------+------------+--------+--------------------------
server_remote_rudy_01 |       10 | 154358 |         |     |{host=10.1.11.71,port=5432,dbname=postgres}
(1 row)
或者
postgres=# \des
              List of foreign servers
       Name       |  Owner   | Foreign-data wrapper 
------------------+----------+----------------------
 server_remote_rudy_01 | postgres | postgres_fdw
(1 row)

3.创建用户匹配信息并查看,在本地
--for后面的postgres是本地登录执行的用户名,option里存储的是远程的用户密码
postgres=# create user mapping for postgres server server_remote_rudy_01 options(user 'postgres',password '123456');
CREATE USER MAPPING
postgres=# select * from pg_user_mappings;
  umid  | srvid  |     srvname      | umuser | usename  |             umoptions             
--------+--------+------------------+--------+----------+-----------------------------------
 154360 | 154359 | server_remote_rudy_01 |     10 | postgres | {user=usr_pg_fdw,password=123456}
(1 row)
postgres=# \deu+
                          List of user mappings
      Server      | User name |               FDW Options                
------------------+-----------+------------------------------------------
 server_remote_rudy_01 | postgres  | ("user" 'usr_pg_fdw', password '123456')
(1 row)

4.本地创建外部表,指定server
postgres=#  CREATE FOREIGN TABLE test1(id int,remark text) server server_remote_rudy_01 options (schema_name 'public',table_name 'tbl_kenyon');
CREATE FOREIGN TABLE



--导入整个schem下面的表
create schema test;
--视用户不同授予不同的权限
grant all on schema test to rudy_02;
grant all on foreign data wrapper postgres_fdw to rudy_02;                     
grant all on foreign server server_remote_rudy_01 to rudy_02;    
--导入指定的表,也可以不导入指定的表,也可以导入整个schema下面的表        
IMPORT FOREIGN SCHEMA public FROM SERVER server_remote_rudy_01 INTO test;
IMPORT FOREIGN SCHEMA public limit to(t1) FROM SERVER server_remote_rudy_01 INTO test;

--通过使用\d查看表,注意不通过使用\dt查看表,而且如果远端的表有drop或者create,在本地会察觉不到
\d test.

postgres=> select * from test.t1 ;          
ERROR:  relation "test.t1" does not exist

--查看系统中有哪些外部表,可查看如下的sql
select * from pg_foreign_table;
--注意如果要删除外部表,千万千万不要直接删除pg_foreign_table表中的数据
--delete from pg_foreign_table ;
--否则不能再导入IMPORT FOREIGN 删除的表,也不能执行 select froeign table 查询删除的表,也不能drop server,都会报如下的错
ERROR:  cache lookup failed for foreign table 49251
--再插入删除的数据
postgres=# \d+ pg_foreign_table;
                  Table "pg_catalog.pg_foreign_table"
  Column   |  Type  | Modifiers | Storage  | Stats target | Description 
-----------+--------+-----------+----------+--------------+-------------
 ftrelid   | oid    | not null  | plain    |              |  在本地pg_class表中对应的 relfilenode
 ftserver  | oid    | not null  | plain    |              |  在本的pg_foreign_server表的oid
 ftoptions | text[] |           | extended |              |  对应foreign server的schema和table名字
postgres=> insert into pg_foreign_table values(49251,49247,array['schema_name=public','table_name=postgres']); 
--而后再删除外部表
postgres=> drop foreign table test.postgres_log ;
DROP FOREIGN TABLE


-- postgres_fdw 为了性能其会把where查询发送到远端
postgres_fdw attempts to optimize remote queries to reduce the amount of data transferred from foreign servers
The query that is actually sent to the remote server for execution can be examined using EXPLAIN VERBOSE


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
8月前
|
存储 关系型数据库 数据库
postgresql|数据库|提升查询性能的物化视图解析
postgresql|数据库|提升查询性能的物化视图解析
813 0
|
SQL 关系型数据库 OLAP
|
4月前
|
缓存 关系型数据库 数据库
如何优化 PostgreSQL 数据库性能?
如何优化 PostgreSQL 数据库性能?
206 2
|
5月前
|
缓存 关系型数据库 数据库
PostgreSQL 查询性能
【8月更文挑战第5天】PostgreSQL 查询性能
97 8
|
8月前
|
关系型数据库 Java 数据库
PostgreSql | 数据库 |自定义函数的设计和实现
PostgreSql | 数据库 |自定义函数的设计和实现
112 0
|
存储 JSON 分布式计算
「PostgreSQL高级特性」PostgreSQL 数据库的近似算法
「PostgreSQL高级特性」PostgreSQL 数据库的近似算法
|
存储 SQL Oracle
AnalyticDB PostgreSQL 7.0 支持存储过程(CREATE PROCEDURE)特性
AnalyticDB PostgreSQL 7.0 新增了存储过程功能的支持,让用户在使用ADB PG时能够更方便高效地开发业务,并能够更好地兼容Oracle等传统数仓的业务。
523 1
AnalyticDB PostgreSQL 7.0 支持存储过程(CREATE PROCEDURE)特性
|
存储 SQL 关系型数据库
【数据库选型】ClickHouse vs PostgreSQL vs TimescaleDB
在过去的一年里,我们不断听到的一个数据库是ClickHouse,这是一个由Yandex最初构建并开源的面向列的OLAP数据库。
|
存储 关系型数据库 Java
知识分享之PostgreSQL——数据库中的模式(Schema)
日常我们开发时,我们会遇到各种各样的奇奇怪怪的问题(踩坑o(╯□╰)o),这个常见问题系列就是我日常遇到的一些问题的记录文章系列,这里整理汇总后分享给大家,让其还在深坑中的小伙伴有绳索能爬出来。 同时在这里也欢迎大家把自己遇到的问题留言或私信给我,我看看其能否给大家解决。
403 0
知识分享之PostgreSQL——数据库中的模式(Schema)
|
SQL 关系型数据库 数据库
PostgreSQL如何实现跨数据库访问?
PostgreSQL数据库和Oracle类似,在逻辑上是相互独立的,如果要访问其他数据库,需要做跨库操作,Postgres本身提供了一些扩展,比如dblink,pgsql_fdw等能够实现跨数据库访问。
9694 0