【赵渝强老师】在PostgreSQL中使用file_fdw访问外部文件系统

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 本文介绍了PostgreSQL的file_fdw扩展,它支持直接从数据库访问服务器文件系统中的文件,文件格式需为text、csv或binary。内容涵盖从编译安装扩展、配置postgresql.conf参数、重启数据库实例,到创建扩展、外部文件服务及外部表的完整流程,并通过具体示例展示如何查询外部表数据,同时附有视频讲解以帮助理解操作步骤。

b223.png

PostgreSQL的file_fdw扩展允许直接从数据库中来访问服务器的文件系统中的文件,而文件的格式要求为text、csv或者 binary。下面通过具体的操作来演示如何使用file_fdw扩展,视频讲解如下:


(1)进入PostgreSQL源码目录下的contrib/file_fdw目录,编译并安装file_fdw扩展。

cd postgresql-15.3/contrib/file_fdw/
make
make install
# 编译完成后,会在当前目录下生成file_fdw.so文件,并自动将编译好的文件拷贝到PostgreSQL安装目录下。


(2)修改postgresql.conf文件中的shared_preload_libraries参数。

shared_preload_libraries = 'file_fdw'


(3)重启PostgreSQL数据库实例。

bin/pg_ctl -D data/ -l logfile restart


(4)创建file_fdw扩展。

postgres=# create extension file_fdw ;


(5)查看PostgreSQL数据库中已安装的扩展。

postgres=# select * from pg_extension;
# 输出信息如下:
-[ RECORD 1 ]--+---------
oid            | 13566
extname        | plpgsql
extowner       | 10
extnamespace   | 11
extrelocatable | f
extversion     | 1.0
extconfig      | 
extcondition   | 
-[ RECORD 2 ]--+---------
oid            | 16628
extname        | file_fdw
extowner       | 10
extnamespace   | 2200
extrelocatable | t
extversion     | 1.0
extconfig      | 
extcondition   |


(6)基于file_fdw创建外部文件服务service_file。

postgres=# create server service_file foreign data wrapper file_fdw;


(7)查看当前数据库中已创建的外部服务。

postgres=# \des
# 输出的信息如下:
            List of foreign servers
     Name     |  Owner   | Foreign-data wrapper 
--------------+----------+----------------------
 service_file | postgres | file_fdw
(1 row)


(8)创建基于file_fdw的外部表。

postgres=# create foreign table ft_emp(
  empno int,
  ename varchar(10),
  job varchar(10),
  mgr int,
  hiredate varchar(10),
  sal int,
  comm int,
  deptno int)
  server service_file options 
  (filename '/home/postgres/emp.csv',format 'csv');
  
# emp.csv文件参考,文件中的数据如下:
7369,SMITH,CLERK,7902,1980/12/17,800,0,20
7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
7521,WARD,SALESMAN,7698,1981/2/22,1250,500,30
7566,JONES,MANAGER,7839,1981/4/2,2975,0,20
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
7698,BLAKE,MANAGER,7839,1981/5/1,2850,0,30
7782,CLARK,MANAGER,7839,1981/6/9,2450,0,10
7788,SCOTT,ANALYST,7566,1987/4/19,3000,0,20
7839,KING,PRESIDENT,-1,1981/11/17,5000,0,10
7844,TURNER,SALESMAN,7698,1981/9/8,1500,0,30
7876,ADAMS,CLERK,7788,1987/5/23,1100,0,20
7900,JAMES,CLERK,7698,1981/12/3,950,0,30
7902,FORD,ANALYST,7566,1981/12/3,3000,0,20
7934,MILLER,CLERK,7782,1982/1/23,1300,0,10


(9)查看外部表ft_emp的数据。

postgres=# select * from ft_emp;
# 输出的信息如下:
 empno | ename  |    job    | mgr  |  hiredate  | sal  | comm | deptno 
-------+--------+-----------+------+------------+------+------+-----
  7369 | SMITH  | CLERK     | 7902 | 1980/12/17 |  800 |    0 |     20
  7499 | ALLEN  | SALESMAN  | 7698 | 1981/2/20  | 1600 |  300 |     30
  7521 | WARD   | SALESMAN  | 7698 | 1981/2/22  | 1250 |  500 |     30
  7566 | JONES  | MANAGER   | 7839 | 1981/4/2   | 2975 |    0 |     20
  7654 | MARTIN | SALESMAN  | 7698 | 1981/9/28  | 1250 | 1400 |     30
  7698 | BLAKE  | MANAGER   | 7839 | 1981/5/1   | 2850 |    0 |     30
  7782 | CLARK  | MANAGER   | 7839 | 1981/6/9   | 2450 |    0 |     10
  7788 | SCOTT  | ANALYST   | 7566 | 1987/4/19  | 3000 |    0 |     20
  7839 | KING   | PRESIDENT |   -1 | 1981/11/17 | 5000 |    0 |     10
  7844 | TURNER | SALESMAN  | 7698 | 1981/9/8   | 1500 |    0 |     30
  7876 | ADAMS  | CLERK     | 7788 | 1987/5/23  | 1100 |    0 |     20
  7900 | JAMES  | CLERK     | 7698 | 1981/12/3  |  950 |    0 |     30
  7902 | FORD   | ANALYST   | 7566 | 1981/12/3  | 3000 |    0 |     20
  7934 | MILLER | CLERK     | 7782 | 1982/1/23  | 1300 |    0 |     10
(14 rows)


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的服务器日志文件
本文介绍了PostgreSQL数据库的物理存储结构,重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时,使用`-l`参数指定日志文件位置,记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
222 0
|
27天前
|
Oracle 关系型数据库 数据库
【赵渝强老师】在PostgreSQL中访问Oracle
本文介绍了如何在PostgreSQL中使用oracle_fdw扩展访问Oracle数据库数据。首先需从Oracle官网下载三个Instance Client安装包并解压,设置Oracle环境变量。接着从GitHub下载oracle_fdw扩展,配置pg_config环境变量后编译安装。之后启动PostgreSQL服务器,在数据库中创建oracle_fdw扩展及外部数据库服务,建立用户映射。最后通过创建外部表实现对Oracle数据的访问。文末附有具体操作步骤与示例代码。
【赵渝强老师】在PostgreSQL中访问Oracle
|
1月前
|
关系型数据库 数据库 PostgreSQL
【赵渝强老师】使用postgre_fdw访问外部PostgreSQL
本文介绍了如何使用postgres_fdw扩展让PostgreSQL访问外部远端数据库数据。通过编译安装扩展、修改配置文件、重启数据库、创建扩展及外部服务器对象等步骤,最终实现本地数据库通过外部表访问远程数据。附带视频讲解,详细演示操作流程,并提醒需调整远端PostgreSQL配置以支持远程登录。
|
2月前
|
SQL 关系型数据库 数据库
【赵渝强老师】创建PostgreSQL的数据库
本文介绍了在PostgreSQL中通过SQL命令“create database”创建数据库的方法。首先查询系统目录pg_database以查看现有数据库集合,然后使用“create database”命令创建新数据库,并了解其在$PDATA/base目录下对应的文件夹生成。最后重新查询数据库集合确认创建结果,附带视频讲解便于理解操作步骤及注意事项。
|
3月前
|
SQL 关系型数据库 数据库
【赵渝强老师】使用PostgreSQL客户端工具
PostgreSQL数据库服务器安装配置完成后,用户可以使用客户端工具连接并操作数据库。本文重点介绍两款常用的PostgreSQL客户端工具:命令行客户端psql和图形化客户端pgAdmin。 **psql**是PostgreSQL自带的命令行工具,支持交互式和非交互式模式。交互式模式下,用户可以直接输入SQL命令进行操作;非交互式模式则通过执行脚本文件来完成任务。 **pgAdmin**是一款功能全面的图形化管理工具,支持Linux、Windows和Mac OS X系统。 通过这两种工具,用户可以高效地管理和操作PostgreSQL数据库。
122 12
【赵渝强老师】使用PostgreSQL客户端工具
|
3月前
|
关系型数据库 数据库 PostgreSQL
【赵渝强老师】PostgreSQL的模板数据库
在PostgreSQL中,创建新数据库时,默认通过拷贝`template1`实现。`template1`包含标准系统对象,可自定义以影响新数据库内容;而`template0`是纯净模板,仅含预定义对象且不应修改。视频讲解和代码示例展示了如何查看现有数据库信息及标识字段的作用。 ![图示](https://ucc.alicdn.com/pic/developer-ecology/yub6x2mlkqwck_398ed06397a44c2d9bfbb5ae5c90bbc0.png) [视频链接](https://www.bilibili.com/video/BV1szyfY4EQn)
【赵渝强老师】PostgreSQL的模板数据库
|
6月前
|
Oracle 安全 关系型数据库
【赵渝强老师】PostgreSQL的参数文件
PostgreSQL数据库的四个主要参数文件包括:`postgresql.conf`(主要配置文件)、`pg_hba.conf`(访问控制文件)、`pg_ident.conf`(用户映射文件)和`postgresql.auto.conf`(自动保存修改后的参数)。视频讲解和详细说明帮助理解各文件的作用。
225 19
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的控制文件
本文介绍了PostgreSQL数据库的物理存储结构,重点解析了控制文件,包括其重要性及如何通过`pg_controldata`命令查看控制文件内容。控制文件记录了数据库运行的关键信息,如数据库状态、WAL位置等。
212 14
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的WAL预写日志文件
PostgreSQL数据库的物理存储结构包含多种文件,其中WAL(预写日志)用于确保数据完整性和高效恢复。WAL机制允许在不频繁刷新数据至磁盘的情况下,通过先写日志再改数据的方式,减少I/O操作,提高性能。每个WAL文件默认大小为16MB,位于pg_wal目录下,支持手动和自动切换。WAL不仅有助于数据恢复,还能显著降低I/O成本。
209 4
|
6月前
|
存储 SQL 关系型数据库
【赵渝强老师】PostgreSQL的运行日志文件
PostgreSQL的物理存储结构包括数据文件、日志文件等。运行日志默认未开启,需配置`postgresql.conf`文件中的相关参数如`log_destination`、`log_directory`等,以记录数据库状态、错误信息等。示例配置中启用了CSV格式日志,便于管理和分析。通过创建表操作,可查看生成的日志文件,了解具体日志内容。
196 3

推荐镜像

更多