腾讯2021sigmod论文Spitfire分析

简介: 腾讯2021sigmod论文Spitfire分析

Spitfire:易失和非易失性内存的三层buffer管理

Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory


机制


1、cache line page

 

page分割成cache line大小,一个cache line为64字节。由于PM可以字节寻址,所以可以以cache line的粒度进行读写page。页头结构中有标记哪个cache line为脏的位图表,1表示脏。并且有resident字段位图标记哪个cache line加载到了内存,若无加载,这部分在内存中不占空间,节省内存。


2、HYMEM


managing nvm in database system》分三层架构DRAM-NVM-SSD。

1)SSD上数据页大小16kb,当事务请求时加载到DRAM

2)使用时钟算法替换DRAM中的数据页,PM中使用同样算法

3)判断什么条件下降DRAM中数据页持久化到PM?

4)采用一个准入PM的队列来协助是否将数据页持久化到PM。

5)默认的读路径:SSD->NVM->DRAM->CPU

6)默认的写路径:CPU->DRAM->NVM->SSD

7)读时首先看是否在DRAM,不在时看是否在NVM,都不在则需要将SSD上全页直接加载到DRAM

8)DRAM替换数据页时,首先看他在没在准入队列,若在则将其从队列删除,并持久化到PM;否则将其标记到准入队列,将该页直接持久化到SSD

9)优点:减少了PM写,以及不同层级之间数据的移动

  缺点:非并发操作,没有在真实的PM环境上测试。


3、spitfire

 

使用概率的方法控制不同层级之间数据的迁移,实现冷热数据分离。确保DRAM中是热数据,NVM中是温数据,SSD中是冷数据。

1)Dr:读时,将NVM移动到DRAM中的概率。比如0.01表示每读取100次,才将NVM中数据页迁移到DRAM

2)Dw:写时需要辅助DRAM的概率

3)Nr:读操作时,将SSD迁移到NVM的概率

4)Nw:写的过程中,buffer管理器将DRAM迁移到NVM的概率

5)数据迁移这些概率依赖于工作负载,自适应调整。

 

6)通过对每层加一个latch,迁移时用到哪层,就对哪层加锁,实现并发

 

原文


https://zxjcarrot.github.io/publication/spitfire/spitfire.pdf

目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
CV领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ICCV 2023
近期,阿里云机器学习平台PAI发表的多篇论文在ICCV 2023上入选。ICCV是国际计算机视觉大会是由电气和电子工程师协会每两年举办一次的研究大会。与CVPR和ECCV一起,它被认为是计算机视觉领域的顶级会议之一。ICCV 2023将于10月2日至10月6日法国巴黎举办。ICCV汇聚了来自世界各地的学者、工程师和研究人员,分享最新的计算机视觉研究成果和技术进展。会议涵盖了计算机视觉领域的各个方向,包括图像处理、模式识别、机器学习、人工智能等等。ICCV的论文发表和演讲都备受关注,是计算机视觉领域交流和合作的重要平台。
|
10月前
|
SQL 存储 NoSQL
论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
蚂蚁流式图计算团队本次的论文 《GeaFlow: A Graph Extended and Accelerated Dataflow System》 被 SIGMOD 2023 收录,代表蚂蚁流式图计算团队的成果不仅在工业界有界广泛的应用,同时也在学术界得到进一步认可。
论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
|
10月前
|
机器学习/深度学习 人工智能 编解码
NLP领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ACL 2023
阿里云机器学习平台PAI主导的多篇论文在ACL 2023 Industry Track上入选。
|
11月前
|
机器学习/深度学习 数据采集 弹性计算
阿里云机器学习平台PAI论文入选 SIGMOD 2023
阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文被SIGMOD 2023录用。
|
12月前
|
达摩院 算法 调度
阿里达摩院KDD 2022最佳论文线上分享:核心作者解读FederatedScope-GNN
阿里达摩院KDD 2022最佳论文线上分享:核心作者解读FederatedScope-GNN
|
机器学习/深度学习 算法 调度
阿里云机器学习平台PAI论文入选ASPLOS 2023
近日,阿里云机器学习平台PAI和上海交通大学冷静文老师团队合作的论文《图神经网络统一图算子抽象uGrapher》被ASPLOS 2023录取。
阿里云机器学习平台PAI论文入选ASPLOS 2023
|
机器学习/深度学习 人工智能 自然语言处理
CVPR 2021大奖公布!何恺明获最佳论文提名,代码已开源!
深度生成模型可以在高分辨率下进行逼真的图像合成。但对于许多应用来说,这还不够:内容创作还需要可控。虽然最近有几项工作研究了如何分解数据中的潜在变化因素,但它们大多在二维中操作,忽略了我们的世界是三维的。
CVPR 2021大奖公布!何恺明获最佳论文提名,代码已开源!
|
机器学习/深度学习 存储 人工智能
阿里云机器学习平台PAI论文入选国际顶会ASPLOS 2022
近日,阿里云机器学习PAI主导的论文《机器学习访存密集计算编译优化框架AStitch》入选国际顶会ASPLOS 2022,论文通过编译优化的手段来自动化地提高机器学习任务的执行效率。此次入选意味着阿里云机器学习平台PAI自研的深度学习编译优化系统达到了全球业界先进水平,获得了国际学者的认可,展现了中国机器学习系统技术创新在国际上的竞争力。
|
分布式计算 达摩院 数据管理
学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021
VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。
712 0
学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021
|
机器学习/深度学习 存储 分布式计算
阿里云飞天论文获国际架构顶会 ATC 2021最佳论文:全球仅三篇
近日,计算机系统结构国际顶级学术会议 USENIX ATC在线上举行。ATC 始办于1992年,是由USENIX组织的计算机系统领域的顶级会议,至今已成功举办31届,计算机系统领域中Oak语言(JAVA语言的前身)、QEMU、ZooKeeper等一系列有影响力的研究成果都在USENIXATC发表或公布。ATC 对论文要求极高,必须满足基础性贡献、前瞻性影响和坚实系统实现的要求,本次论文录取率仅为18%,全球仅选取3篇最佳论文。
1142 0
阿里云飞天论文获国际架构顶会 ATC 2021最佳论文:全球仅三篇