存储文件内存映射-TransientStorePool|学习笔记

简介: 快速学习存储文件内存映射-TransientStorePool

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段)存储文件内存映射-TransientStorePool】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12482


存储文件内存映射-TransientStorePool

 

内容介绍:

一.TransientStorePool

二.重要属性

三.初始化

 

一.TransientStorePool

TransientStorePool 这个类其实就是堆外内存的缓存池,这个堆外内存主要用来存放临时的数据,如果开启了内存,数据首先会写入到堆外内存中,再通过 commit 定时线程将数据复制到与目标物理文件对应的内存映射中。RocketMQ 引入该机制主要的原因是提供一种内存锁定,让内存一直被RocketMQ 占用,不会被交换至磁盘中。

 

二.重要属性

1.private final int poolSize;

// availableBuffers 个数

2. private final int fileSize;

//每个ByteBuffer大小

3. private final Deque<ByteBuffer> availableBuffers;

// ByteBuffer容器,双端队列

这里面有些重要的属性,一个是缓存池的大小,每一个缓存池的文件每一个缓存池区域的大小。还有一个存放的队列的容器,专门存放堆外缓存区的对象。

 

三.初始化

public void  init() {

//创建 poolSize 个堆外内存

for (int i = 0; i < poolSize; i++){

ByteBuffer byteBuffer = ByteBuffer.allocateDirect(fileSize);

final long address = ((DirectBuffer) byteBuffer). address();

Pointer pointer = new Pointer(address);

//使用 com.sun.jna.Library 类库将该批内存锁定,避免被置换到交换区,提高存储性能

LibC.INSTANCE.mlock(pointer,new NativeLong(fileSize));

availableBuffers.offer(byteBuffer);

}

}

这是初始化的一个方法,该方法也很简单,就是定义当前的 poolSize,然后创建每一个堆外的内存,然后都放到对应的容器中去。

相关文章
|
3月前
|
存储
阿里云轻量应用服务器收费标准价格表:200Mbps带宽、CPU内存及存储配置详解
阿里云香港轻量应用服务器,200Mbps带宽,免备案,支持多IP及国际线路,月租25元起,年付享8.5折优惠,适用于网站、应用等多种场景。
942 0
|
3月前
|
存储 缓存 NoSQL
内存管理基础:数据结构的存储方式
数据结构在内存中的存储方式主要包括连续存储、链式存储、索引存储和散列存储。连续存储如数组,数据元素按顺序连续存放,访问速度快但扩展性差;链式存储如链表,通过指针连接分散的节点,便于插入删除但访问效率低;索引存储通过索引表提高查找效率,常用于数据库系统;散列存储如哈希表,通过哈希函数实现快速存取,但需处理冲突。不同场景下应根据访问模式、数据规模和操作频率选择合适的存储结构,甚至结合多种方式以达到最优性能。掌握这些存储机制是构建高效程序和理解高级数据结构的基础。
278 1
|
3月前
|
存储 弹性计算 固态存储
阿里云服务器配置费用整理,支持一万人CPU内存、公网带宽和存储IO性能全解析
要支撑1万人在线流量,需选择阿里云企业级ECS服务器,如通用型g系列、高主频型hf系列或通用算力型u1实例,配置如16核64G及以上,搭配高带宽与SSD/ESSD云盘,费用约数千元每月。
271 0
|
存储 编译器 C语言
【C语言篇】数据在内存中的存储(超详细)
浮点数就采⽤下⾯的规则表⽰,即指数E的真实值加上127(或1023),再将有效数字M去掉整数部分的1。
855 0
|
12月前
|
存储
共用体在内存中如何存储数据
共用体(Union)在内存中为所有成员分配同一段内存空间,大小等于最大成员所需的空间。这意味着所有成员共享同一块内存,但同一时间只能存储其中一个成员的数据,无法同时保存多个成员的值。
|
12月前
|
存储 C语言
数据在内存中的存储方式
本文介绍了计算机中整数和浮点数的存储方式,包括整数的原码、反码、补码,以及浮点数的IEEE754标准存储格式。同时,探讨了大小端字节序的概念及其判断方法,通过实例代码展示了这些概念的实际应用。
853 1
|
12月前
|
存储 弹性计算 算法
前端大模型应用笔记(四):如何在资源受限例如1核和1G内存的端侧或ECS上运行一个合适的向量存储库及如何优化
本文探讨了在资源受限的嵌入式设备(如1核处理器和1GB内存)上实现高效向量存储和检索的方法,旨在支持端侧大模型应用。文章分析了Annoy、HNSWLib、NMSLib、FLANN、VP-Trees和Lshbox等向量存储库的特点与适用场景,推荐Annoy作为多数情况下的首选方案,并提出了数据预处理、索引优化、查询优化等策略以提升性能。通过这些方法,即使在资源受限的环境中也能实现高效的向量检索。
505 1
|
存储 编译器
数据在内存中的存储
数据在内存中的存储
132 4
|
存储 Java
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
这篇文章详细地介绍了Java对象的创建过程、内存布局、对象头的MarkWord、对象的定位方式以及对象的分配策略,并深入探讨了happens-before原则以确保多线程环境下的正确同步。
206 0
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配

热门文章

最新文章