PolarDB for PostgreSQL 开源必读手册-共享存储原理与实践(中)

简介: PolarDB for PostgreSQL 开源必读手册-

接上篇:https://developer.aliyun.com/article/1223073?spm=a2c6h.13148508.setting.29.44ec4f0eNvAByn

二、 PolarFS共享存储系统的搭建

 

image.png

 

首先,从github下载源代码,进行编译、安装代码。

 

源码地址

https://github.com/ApsaraDB/PolarDB-FileSystem

 

 

 

文档地址

https://github.com/ApsaraDB/PolarDB-FileSystem/blob/master/Readme-CN.md

 

image.png

 

安装后,系统即存在PFS对应的工具。执行PFS命令可查看PFS支持的命令行。

 

image.png

 

使用文件系统的第一步是对文件系统进行格式化,需要sudo的权限,因为需要进行磁盘的格式化。命令中的-C disk指的是针对块设备,因为PolarFS支持不同的存储形态,除了块设备之外,也支持阿里内部自研的分布式共享存储PolarStore。

 

mkfs命令下的提供了多种选项,比如指定的logsize大小,number users用于控制并发的实例编号。如果对以上选项不了解,采用默认值即可。

 

image.png

 

通过上述语句进行格式化。如果文件系统之前曾被格式化,本次格式化则需要加上-f,意为强制格式化。对于单节点,块设备直接只用本地磁盘即可。PFS除了支持共享存储,也支持单机硬盘,但是单机硬盘无法实现跨节点的数据访问。日常开发可以使用单机模式进行格式。

 

image.png

 

格式化成功之后,通过ls命令查看文件系统下的文件。

 

image.png

 

可以通过mkdir命令创建目录,执行后没有报错则意味着创建成功。

 

通过ls命令查看,结果显示nvme6n1文件下已经存在testDir目录。

 

image.png

 

PolarDB使用多个进程进行数据通信。主进程进行新的请求时,会fork一个work子进程,每个进程下面都会引入PolarFS的客户端,包含了read、write等常见操作,并负责调用客户端的接口,与后台的pfsdaemon进程进行通讯。

 

用户态共享内存作为PolarFS的通信信道,最大的优点在于可以减少数据的拷贝。比如客户端要写buffer,将数据存入共享内存,PID文件系统可以直接将数据取出,间接实现了零拷贝的操作。

 

image.png

 

上图为此前默认安装的pfsdaemon。通过start_pfsd.sh-p命令即可调用。-p指定文件系统的盘符。

 

image.png

 

Fuse类似于文件系统访问的中间层,对上兼容标准的文件系统的语义操作,对下可对接不同的文件系统。通过标准的命令,可直接访问到底层的PolarFS。

 

比如此前查看PolarFS的目录需要通过PFS工具,但是接入fuse之后,直接使用fuse Linux的原生命令makeDir即可创建目录到PFS。

 

image.png

 

首先安装Fuse,具体安装步骤可参考github上的安装文档。安装完成后,将fuse挂载到PFS上,系统默认提供了现成的脚本进行挂在操作(如上图所示),脚本在安装时已经部署在机器上。脚本下需要提供三个参数,diskname指定块设备的名称;RW和RO参数代表启动读写实例和只读实例的意思,因为需要创建文件和创建目录等写操作,此处启动读写实例;mount_dir指fuse的挂载目录。

 

image.png

 

挂载成功后,可进入fuse目录访问。执行ll操作,结果可直接显示PFS的testDir。

 

image.png

 

可直接通过原生的Linux的命令创建dir和文件。

 

image.png

 

可以看到创建的目录和文件都已经同步到PFS的文件系统,说明通过fuse成功访问了PFS文件系统。

 

Fuse最大的作用为简化文件系统的操作,用原生命令即可达到访问PFS文件系统的目的。用完之后,可通过mount_dir接触Fuse挂载。

 

image.png

 

PolarFS文件系统支持不同的挂载形态和存储介质,其中PolarStore是阿里云数据库内部自研的分布式共享文件系统,通过RDMA在存储层进行数据的多副本机制的通信以及复制。

 

当前,阿里云官网在售的PolarDB产品均基于PolarStore形态实现,支持PolarDB-MySQL的5.6、5.7、8.0版本,PolarDB-PostgreSQL11以及PolarDB-Oracle兼容版本。

 

image.png

 

阿里云的ESSD是标准的分布式块设备共享存储,可在阿里云上直接购买。部署方式与单机较类似,区别为ESSD在底层是分布式的共享存储,通过ESSD也可以达到一写多读进行数据共享以及数据同步一致性的效果。

接下篇:https://developer.aliyun.com/article/1223070?groupCode=polardbforpg

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
关系型数据库 分布式数据库 PolarDB
PolarDB 开源基础教程系列 7.2 应用实践之 跨境电商场景
本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权,避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引,实现了高性能的字符串相似匹配功能。与传统方法相比,PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度,还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引,并设置相似度阈值进行高效查询。此外,文章还探讨了字符串相似度计算的原理及应用场景,提供了进一步优化和扩展的方向。
518 11
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.5 应用实践之 TPCH性能优化
PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.
551 7
|
搜索推荐 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.3 应用实践之 精准营销场景
本文介绍了基于用户画像的精准营销技术,重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分: 1. **传统方法**:使用字符串存储标签并进行模糊查询,但性能较差,每次请求都需要扫描全表。 2. **实验1**:引入`pg_trgm`插件和GIN索引,显著提升了单个模糊查询条件的性能。 3. **实验2**:改用数组类型存储标签,并结合GIN索引加速包含查询,性能进一步提升。 4. **实验3**:利用`smlar`插件实现近似度过滤,支持按标签重合数量或比例筛选。
351 3
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的逻辑存储结构
PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等。每个对象都有唯一的对象标识符OID,并存储于相应的系统目录表中。集群由单个服务器实例管理,包含多个数据库、用户及对象。表空间是数据库的逻辑存储单元,用于组织逻辑相关的数据结构。段是分配给表、索引等逻辑结构的空间集合,区是段的基本组成单位,而块则是最小的逻辑存储单位。
573 2
【赵渝强老师】PostgreSQL的逻辑存储结构
|
JSON 关系型数据库 PostgreSQL
PostgreSQL 9种索引的原理和应用场景
PostgreSQL 支持九种主要索引类型,包括 B-Tree、Hash、GiST、SP-GiST、GIN、BRIN、Bitmap、Partial 和 Unique 索引。每种索引适用于不同场景,如 B-Tree 适合范围查询和排序,Hash 仅用于等值查询,GiST 支持全文搜索和几何数据查询,GIN 适用于多值列和 JSON 数据,BRIN 适合非常大的表,Bitmap 适用于低基数列,Partial 只对部分数据创建索引,Unique 确保列值唯一。
1652 15
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课3 共享存储在线扩容
本文继续探讨穷鬼玩PolarDB RAC一写多读集群系列,介绍如何在线扩容共享存储。实验环境依赖《在Docker容器中用loop设备模拟共享存储》搭建。主要步骤包括:1) 扩容虚拟磁盘;2) 刷新loop设备容量;3) 使用PFS工具进行文件系统扩容;4) 更新数据库实例以识别新空间。通过这些步骤,成功将共享存储从20GB扩容至30GB,并确保所有节点都能使用新的存储空间。
360 1
|
人工智能 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
929 4
|
存储 SQL 缓存
PolarDB-X 在 ClickBench 数据集的优化实践
本文介绍了 PolarDB-X 在 ClickBench 数据集上的优化实践,PolarDB-X 通过增加优化器规则、优化执行器层面的 DISTINCT 和自适应两阶段 AGG、MPP 压缩等手段,显著提升了在 ClickBench 上的性能表现,达到了业内领先水平。
|
SQL 关系型数据库 分布式数据库
基于PolarDB的图分析:银行金融领域图分析实践
本文介绍了如何使用阿里云PolarDB PostgreSQL版及其图数据库引擎(兼容Apache AGE,A Graph Extension)进行图数据分析,特别针对金融交易欺诈检测场景。PolarDB PostgreSQL版支持图数据的高效处理和查询,包括Cypher查询语言的使用。文章详细描述了从数据准备、图结构创建到具体查询示例的过程,展示了如何通过图查询发现欺诈交易的关联关系,计算交易间的Jaccard相似度,从而进行欺诈预警。
基于PolarDB的图分析:银行金融领域图分析实践
|
SQL 人工智能 自然语言处理
PolarDB-PG AI最佳实践 1:基础能力实践
Polar_AI 是 PolarDB 数据库的 AI 扩展,集成了先进的人工智能模型和算法,使数据库能够执行机器学习和自然语言处理任务。它支持 PostgreSQL 及 Oracle 兼容版本,通过标准 SQL 轻松调用 AI 模型,具备简单易用、灵活可定制、无缝数据融合、数据安全和高性能等优势。用户可以通过 SQL 快速实现文本转向量、情感分类等功能,并能自定义扩展 AI 模型。

相关产品

  • 云原生数据库 PolarDB
  • 推荐镜像

    更多