应用PMDK修改WAL操作使之适配持久化内存

本文涉及的产品
PolarClaw,2核4GB
简介: 应用PMDK修改WAL操作使之适配持久化内存

应用PMDK修改WAL操作使之适配持久化内存


这几个补丁能够通过使用PMDK对存储在持久化内存PMEM上的WAL日志进行读写。PMEM是下一代存储介质,具有一系列特性:快速、字节寻址、非易失。

Pgbench是PG的通用benchmark,使用benchmark进行测试,这些补丁修改后的PG比原生PG性能提升5%。使用我们的insert benchmark,能够比原生PG快90%。下面进行详细描述。

这个e-mail包括以下几部分:

A)PMDK

B)补丁

C)测试方法及结果


PMDK


PMDK提供函数使应用能够直接访问PMEM,无需通过内核作为内存。API包括:

1)open PMEM文件的API、create PMEM文件的API、map PMEM文件到虚拟地址的API

   PMDK利用DAX文件系统特性提供这些API函数。DAX文件系统对PMEM敏感,允许直接访问PMEM,而不使用内核的page cache。可以使用标准的mmap函数将DAX文件系统中的文件映射到内存。更进一步说,通过将PMEM中的文件映射到虚拟地址,应用可以使用CPU的 load/store指令替代read/write访问PMEM。

2)读写 PMEM文件的API

PMDK提供API:类似memcpy()函数,通过single instruction、multiple data instruction、NT storage instruction 将数据拷贝到PMEM。这些指令能够提升拷贝性能。因此这些API比read/write更快。API参考:

[1] http://pmem.io/pmdk/

[2]https://www.usenix.org/system/files/login/articles/login_summer17_07_rudoff.pdf

[3] SIMD: 对加载数据进行操作的单指令。如果SIMD系统一次加载8字节数据到寄存器,那么到PMEM的存储操作会同时对所有8字节值进行。

[4] NT store instructions: 该指令跳过CPU cache,因此使用该指令不需要flush。


补丁


补丁修改:

0001-Add-configure-option-for-PMDK.patch:添加--with-libpmem配置,通过pmdk库执行IO

0002-Read-write-WAL-files-using-PMDK.patch:

使用PMDK函数对WAL进行IO操作

wal_sync_method参数增加pmem-drain,用于标明PMEM上wal sync方式。

0003-Walreceiver-WAL-IO-using-PMDK.patch:

   对于备机的walreciver进程,使用PMDK写日志。


执行方式及结果

  环境:

 

Server: HP ProLiant DL360 Gen9
CPU:    Xeon E5-2667 v4 (3.20GHz); 2 processors(without HT)
DRAM:   DDR4-2400; 32 GiB/processor
        (8GiB/socket x 4 sockets/processor) x 2 processors
NVDIMM: DDR4-2133; 32 GiB/processor
        (8GiB/socket x 4 sockets/processor) x 2 processors
HDD:    Seagate Constellation2 2.5inch SATA 3.0. 6Gb/s 1TB 7200rpm x 1
OS:     Ubuntu 16.04, linux-4.12
DAX FS: ext4
NVML:   master(at)Aug 30, 2017
PostgreSQL: master
Note: I bound the postgres processes to one NUMA node, and the benchmarks to other NUMA node.

1)配置pmem,将之作为一个块设备

   # ndctl list

# ndctl create-namespace -f -e namespace0.0 --mode=memory -M dev

2)在pmem上创建一个文件系统,以DAX方式挂载

   # mkfs.ext4 /dev/pmem0

# mount -t ext4 -o dax /dev/pmem0 /mnt/pmem0

3)设置PMEM_IS_PMEM_FORCE,表示WAL文件存放在PMEM上

  注意,没有设置这个环境变量,PG的进程启动不起来

  # export PMEM_IS_PMEM_FORCE=1

4)安装PG

  安装Pg时有3个重要注意事项:

a. Configure时添加--with-libpmem:"./configure --with-libpmem"

b. 将WAL目录存放到PMEM上

c. 将wal_sync_method参数由fdatasync改为pmem_drain

  具体操作:

# cd /path/to/[PG_source dir]
# ./configure --with-libpmem
# make && make install
# initdb /path/to/PG_DATA -X /mnt/pmem0/path/to/[PG_WAL dir]
# cat /path/to/PG_DATA/postgresql.conf | sed -e s/#wal_sync_method\ =\
fsync/wal_sync_method\ =\ pmem_drain/ > /path/to/PG_DATA/postgresql.conf.
tmp
# mv /path/to/PG_DATA/postgresql.conf.tmp /path/to/PG_DATA/postgresql.conf
# pg_ctl start -D /path/to/PG_DATA
# created [DB_NAME]
5)执行2个benchmark,一个是pgbench,一个是my insert benchmark
  Pgbench:
      # numactl -N 1 pgbech -c 32 -j 8 -T 120 -M prepared [DB_NAME]
      执行pgbench三次的平均值:
      wal_sync_method=fdatasync:   tps = 43,179
wal_sync_method=pmem_drain:  tps = 45,254
  pclinet_thread:my insert benchmark
      准备:
      CREATE TABLE [TABLE_NAME] (id int8, value text);
ALTER TABLE [TABLE_NAME] ALTER value SET STORAGE external;
PREPARE insert_sql (int8) AS INSERT INTO %s (id, value) values ($1, '
[1K_data]');
执行:
BEGIN; EXECUTE insert_sql(%lld); COMMIT;
Note: I ran this quer 5M times with 32 threads.
# ./pclient_thread
Invalid Arguments:
Usage: ./pclient_thread [The number of threads] [The number to insert
tuples] [data size(KB)]
# numactl -N 1 ./pclient_thread 32 5242880 1

 

测试三次的平均值:

wal_sync_method=fdatasync:   tps =  67,780

wal_sync_method=pmem_drain:  tps = 131,962

 

Attachment

Content-Type

Size

0001-Add-configure-option-for-PMDK.patch

application/octet-stream

5.1 KB

0002-Read-write-WAL-files-using-PMDK.patch

application/octet-stream

46.9 KB

0003-Walreceiver-WAL-IO-using-PMDK.patch

application/octet-stream

4.8 KB


原文


https://www.postgresql.org/message-id/C20D38E97BCB33DAD59E3A1%40lab.ntt.co.jp


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
9月前
|
SQL 缓存 安全
深度理解 Java 内存模型:从并发基石到实践应用
本文深入解析 Java 内存模型(JMM),涵盖其在并发编程中的核心作用与实践应用。内容包括 JMM 解决的可见性、原子性和有序性问题,线程与内存的交互机制,volatile、synchronized 和 happens-before 等关键机制的使用,以及在单例模式、线程通信等场景中的实战案例。同时,还介绍了常见并发 Bug 的排查与解决方案,帮助开发者写出高效、线程安全的 Java 程序。
509 0
|
存储 缓存 监控
如何使用内存监控工具来优化 Node.js 应用的性能
需要注意的是,不同的内存监控工具可能具有不同的功能和特点,在使用时需要根据具体工具的要求和操作指南进行正确使用和分析。
735 158
|
JavaScript
如何使用内存快照分析工具来分析Node.js应用的内存问题?
需要注意的是,不同的内存快照分析工具可能具有不同的功能和操作方式,在使用时需要根据具体工具的说明和特点进行灵活运用。
697 159
|
监控 JavaScript 算法
如何使用内存监控工具来定位和解决Node.js应用中的性能问题?
总之,利用内存监控工具结合代码分析和业务理解,能够逐步定位和解决 Node.js 应用中的性能问题,提高应用的运行效率和稳定性。需要耐心和细致地进行排查和优化,不断提升应用的性能表现。
710 174
|
存储 缓存 JavaScript
如何优化Node.js应用的内存使用以提高性能?
通过以上多种方法的综合运用,可以有效地优化 Node.js 应用的内存使用,提高性能,提升用户体验。同时,不断关注内存管理的最新技术和最佳实践,持续改进应用的性能表现。
775 62
|
开发框架 .NET PHP
网站应用项目如何选择阿里云服务器实例规格+内存+CPU+带宽+操作系统等配置
对于使用阿里云服务器的搭建网站的用户来说,面对众多可选的实例规格和配置选项,我们应该如何做出最佳选择,以最大化业务效益并控制成本,成为大家比较关注的问题,如果实例、内存、CPU、带宽等配置选择不合适,可能会影响到自己业务在云服务器上的计算性能及后期运营状况,本文将详细解析企业在搭建网站应用项目时选购阿里云服务器应考虑的一些因素,以供参考。
|
存储 C语言 计算机视觉
在C语言中指针数组和数组指针在动态内存分配中的应用
在C语言中,指针数组和数组指针均可用于动态内存分配。指针数组是数组的每个元素都是指针,可用于指向多个动态分配的内存块;数组指针则指向一个数组,可动态分配和管理大型数据结构。两者结合使用,灵活高效地管理内存。
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
602 1
|
开发框架 监控 .NET
【Azure App Service】部署在App Service上的.NET应用内存消耗不能超过2GB的情况分析
x64 dotnet runtime is not installed on the app service by default. Since we had the app service running in x64, it was proxying the request to a 32 bit dotnet process which was throwing an OutOfMemoryException with requests >100MB. It worked on the IaaS servers because we had the x64 runtime install
362 5
|
运维 JavaScript Linux
容器内的Nodejs应用如何获取宿主机的基础信息-系统、内存、cpu、启动时间,以及一个df -h的坑
本文介绍了如何在Docker容器内的Node.js应用中获取宿主机的基础信息,包括系统信息、内存使用情况、磁盘空间和启动时间等。核心思路是将宿主机的根目录挂载到容器,但需注意权限和安全问题。文章还提到了使用`df -P`替代`df -h`以获得一致性输出,避免解析错误。
768 1