存储文件内存映射-TransientStorePool|学习笔记

简介: 快速学习存储文件内存映射-TransientStorePool

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段)存储文件内存映射-TransientStorePool】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12482


存储文件内存映射-TransientStorePool

 

内容介绍:

一.TransientStorePool

二.重要属性

三.初始化

 

一.TransientStorePool

TransientStorePool 这个类其实就是堆外内存的缓存池,这个堆外内存主要用来存放临时的数据,如果开启了内存,数据首先会写入到堆外内存中,再通过 commit 定时线程将数据复制到与目标物理文件对应的内存映射中。RocketMQ 引入该机制主要的原因是提供一种内存锁定,让内存一直被RocketMQ 占用,不会被交换至磁盘中。

 

二.重要属性

1.private final int poolSize;

// availableBuffers 个数

2. private final int fileSize;

//每个ByteBuffer大小

3. private final Deque<ByteBuffer> availableBuffers;

// ByteBuffer容器,双端队列

这里面有些重要的属性,一个是缓存池的大小,每一个缓存池的文件每一个缓存池区域的大小。还有一个存放的队列的容器,专门存放堆外缓存区的对象。

 

三.初始化

public void  init() {

//创建 poolSize 个堆外内存

for (int i = 0; i < poolSize; i++){

ByteBuffer byteBuffer = ByteBuffer.allocateDirect(fileSize);

final long address = ((DirectBuffer) byteBuffer). address();

Pointer pointer = new Pointer(address);

//使用 com.sun.jna.Library 类库将该批内存锁定,避免被置换到交换区,提高存储性能

LibC.INSTANCE.mlock(pointer,new NativeLong(fileSize));

availableBuffers.offer(byteBuffer);

}

}

这是初始化的一个方法,该方法也很简单,就是定义当前的 poolSize,然后创建每一个堆外的内存,然后都放到对应的容器中去。

相关文章
|
27天前
|
传感器 人工智能 物联网
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发,以及面临的挑战和未来趋势,旨在帮助读者深入了解并掌握这些关键技术。
44 6
|
2月前
|
存储 C语言
数据在内存中的存储方式
本文介绍了计算机中整数和浮点数的存储方式,包括整数的原码、反码、补码,以及浮点数的IEEE754标准存储格式。同时,探讨了大小端字节序的概念及其判断方法,通过实例代码展示了这些概念的实际应用。
116 1
|
2月前
|
存储
共用体在内存中如何存储数据
共用体(Union)在内存中为所有成员分配同一段内存空间,大小等于最大成员所需的空间。这意味着所有成员共享同一块内存,但同一时间只能存储其中一个成员的数据,无法同时保存多个成员的值。
|
2月前
|
存储 弹性计算 算法
前端大模型应用笔记(四):如何在资源受限例如1核和1G内存的端侧或ECS上运行一个合适的向量存储库及如何优化
本文探讨了在资源受限的嵌入式设备(如1核处理器和1GB内存)上实现高效向量存储和检索的方法,旨在支持端侧大模型应用。文章分析了Annoy、HNSWLib、NMSLib、FLANN、VP-Trees和Lshbox等向量存储库的特点与适用场景,推荐Annoy作为多数情况下的首选方案,并提出了数据预处理、索引优化、查询优化等策略以提升性能。通过这些方法,即使在资源受限的环境中也能实现高效的向量检索。
|
2月前
|
存储 编译器
数据在内存中的存储
数据在内存中的存储
45 4
|
2月前
|
存储 Java
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
这篇文章详细地介绍了Java对象的创建过程、内存布局、对象头的MarkWord、对象的定位方式以及对象的分配策略,并深入探讨了happens-before原则以确保多线程环境下的正确同步。
61 0
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
|
2月前
|
存储 机器学习/深度学习 人工智能
数据在内存中的存储
数据在内存中的存储
|
2月前
|
存储 C语言
深入C语言内存:数据在内存中的存储
深入C语言内存:数据在内存中的存储
|
2月前
|
Linux C++
Linux c/c++文件虚拟内存映射
这篇文章介绍了在Linux环境下,如何使用虚拟内存映射技术来提高文件读写的速度,并通过C/C++代码示例展示了文件映射的整个流程。
65 0
|
1月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
273 1