PolarDB for PostgreSQL 开源必读手册-共享存储原理与实践(中)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PolarDB for PostgreSQL 开源必读手册-

接上篇:https://developer.aliyun.com/article/1223073?spm=a2c6h.13148508.setting.29.44ec4f0eNvAByn

二、 PolarFS共享存储系统的搭建

 

image.png

 

首先,从github下载源代码,进行编译、安装代码。

 

源码地址

https://github.com/ApsaraDB/PolarDB-FileSystem

 

 

 

文档地址

https://github.com/ApsaraDB/PolarDB-FileSystem/blob/master/Readme-CN.md

 

image.png

 

安装后,系统即存在PFS对应的工具。执行PFS命令可查看PFS支持的命令行。

 

image.png

 

使用文件系统的第一步是对文件系统进行格式化,需要sudo的权限,因为需要进行磁盘的格式化。命令中的-C disk指的是针对块设备,因为PolarFS支持不同的存储形态,除了块设备之外,也支持阿里内部自研的分布式共享存储PolarStore。

 

mkfs命令下的提供了多种选项,比如指定的logsize大小,number users用于控制并发的实例编号。如果对以上选项不了解,采用默认值即可。

 

image.png

 

通过上述语句进行格式化。如果文件系统之前曾被格式化,本次格式化则需要加上-f,意为强制格式化。对于单节点,块设备直接只用本地磁盘即可。PFS除了支持共享存储,也支持单机硬盘,但是单机硬盘无法实现跨节点的数据访问。日常开发可以使用单机模式进行格式。

 

image.png

 

格式化成功之后,通过ls命令查看文件系统下的文件。

 

image.png

 

可以通过mkdir命令创建目录,执行后没有报错则意味着创建成功。

 

通过ls命令查看,结果显示nvme6n1文件下已经存在testDir目录。

 

image.png

 

PolarDB使用多个进程进行数据通信。主进程进行新的请求时,会fork一个work子进程,每个进程下面都会引入PolarFS的客户端,包含了read、write等常见操作,并负责调用客户端的接口,与后台的pfsdaemon进程进行通讯。

 

用户态共享内存作为PolarFS的通信信道,最大的优点在于可以减少数据的拷贝。比如客户端要写buffer,将数据存入共享内存,PID文件系统可以直接将数据取出,间接实现了零拷贝的操作。

 

image.png

 

上图为此前默认安装的pfsdaemon。通过start_pfsd.sh-p命令即可调用。-p指定文件系统的盘符。

 

image.png

 

Fuse类似于文件系统访问的中间层,对上兼容标准的文件系统的语义操作,对下可对接不同的文件系统。通过标准的命令,可直接访问到底层的PolarFS。

 

比如此前查看PolarFS的目录需要通过PFS工具,但是接入fuse之后,直接使用fuse Linux的原生命令makeDir即可创建目录到PFS。

 

image.png

 

首先安装Fuse,具体安装步骤可参考github上的安装文档。安装完成后,将fuse挂载到PFS上,系统默认提供了现成的脚本进行挂在操作(如上图所示),脚本在安装时已经部署在机器上。脚本下需要提供三个参数,diskname指定块设备的名称;RW和RO参数代表启动读写实例和只读实例的意思,因为需要创建文件和创建目录等写操作,此处启动读写实例;mount_dir指fuse的挂载目录。

 

image.png

 

挂载成功后,可进入fuse目录访问。执行ll操作,结果可直接显示PFS的testDir。

 

image.png

 

可直接通过原生的Linux的命令创建dir和文件。

 

image.png

 

可以看到创建的目录和文件都已经同步到PFS的文件系统,说明通过fuse成功访问了PFS文件系统。

 

Fuse最大的作用为简化文件系统的操作,用原生命令即可达到访问PFS文件系统的目的。用完之后,可通过mount_dir接触Fuse挂载。

 

image.png

 

PolarFS文件系统支持不同的挂载形态和存储介质,其中PolarStore是阿里云数据库内部自研的分布式共享文件系统,通过RDMA在存储层进行数据的多副本机制的通信以及复制。

 

当前,阿里云官网在售的PolarDB产品均基于PolarStore形态实现,支持PolarDB-MySQL的5.6、5.7、8.0版本,PolarDB-PostgreSQL11以及PolarDB-Oracle兼容版本。

 

image.png

 

阿里云的ESSD是标准的分布式块设备共享存储,可在阿里云上直接购买。部署方式与单机较类似,区别为ESSD在底层是分布式的共享存储,通过ESSD也可以达到一写多读进行数据共享以及数据同步一致性的效果。

接下篇:https://developer.aliyun.com/article/1223070?groupCode=polardbforpg

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
关系型数据库 分布式数据库 PolarDB
参与有礼|开源PolarDB文档捉虫
2024年9月,开源PolarDB-PG发布兼容PostgreSQL 15版本,为提升用户体验,特举办“开源文档捉虫”活动,邀请您反馈文档问题和优化建议。活动时间为2024年11月1日至2025年2月28日。参与即有机会赢取PolarDB开源社区T恤、新春茶碗及福字版印礼盒等丰富奖品。更多详情及反馈入口请点击链接。
参与有礼|开源PolarDB文档捉虫
|
2月前
|
数据库
|
2月前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
257 4
|
3月前
|
存储 关系型数据库 分布式数据库
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
|
3月前
|
SQL JSON 关系型数据库
MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
【10月更文挑战第3天】MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
265 5
|
3月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
3月前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
164 2
|
4月前
|
关系型数据库 MySQL 分布式数据库
PolarDB开源社区动态:最新版本功能亮点与更新解读
【9月更文挑战第6天】随着云计算技术的发展,分布式数据库系统成为企业数据处理的核心。阿里云的云原生数据库PolarDB自开源以来备受关注,近日发布的最新版本在内核稳定性、性能、分布式CDC架构及基于时间点的恢复等方面均有显著提升,并新增了MySQL一键导入功能。本文将解读这些新特性并提供示例代码,帮助企业更好地利用PolarDB处理实时数据同步和离线分析任务,提升数据安全性。未来,PolarDB将继续创新,为企业提供更高效的数据处理服务。
297 4
|
4月前
惊世骇俗!开源 PolarDB-X 部署安装大冒险,全程心跳与惊喜不断!
【9月更文挑战第8天】作为技术爱好者的我,近期成功完成了开源 PolarDB-X 的部署安装。尽管过程中遇到不少挑战,但通过精心准备环境、下载安装包、配置参数及启动服务等步骤,最终顺利实现部署。本文将详细介绍部署全过程及可能遇到的问题,为您的 PolarDB-X 探索之旅提供参考与启发,希望能让大家在技术海洋里畅游得更加顺利!
212 2
|
关系型数据库 分布式数据库 PolarDB
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
387 0

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB