大话存储系列20——数据存储与数据管理综述-阿里云开发者社区

开发者社区> 长烟慢慢> 正文

大话存储系列20——数据存储与数据管理综述

简介: 存储系统又两大部分内容:数据存储 和 数据管理。 数据存储包括:存储控制器硬件、磁盘、适配器、网络传输通道、RAID管理、LUN管理等,这部分主要功能就是提供基本的裸数据存储服务; 数据管理包括:Tier、Snapshot、Clone等数据处理模块。
+关注继续查看

存储系统又两大部分内容:数据存储 和 数据管理。

数据存储包括:存储控制器硬件、磁盘、适配器、网络传输通道、RAID管理、LUN管理等,这部分主要功能就是提供基本的裸数据存储服务;

数据管理包括:Tier、Snapshot、Clone等数据处理模块。


存储系统实时监控物理空间使用情况,一旦所有用户整体空间消耗达到临界值,则需要马上扩大物理容量。然而,对于空间使用率的监控方面,如果存储系统为NAS系统,提供的是一个基于文件协议的卷共享,则存储系统本身就可以很容易地监控存储空间的真实耗费情况,因为NAS系统是自己来维护文件与物理空间对应关系的。

但是如果存储系统提供的是一个基于Block协议访问的空间,比如FC或者iSCSI协议的LUN,则存储系统所监控到的这个LUN在物理磁盘上所占用的空间使用率很大程度上是伪造的,存储系统所检测到的占用率永远大于其实际占用率,其原因是因为存储系统自身一般不能感知到这个LUN中文件系统中的实际文件所占用的空间,只有客户端主机才能看到,一种极端的情况:如果在使用这个LUN的客户端主机上曾经将数据塞满这个LUN但是随后由删除掉了,那么存储系统所看到的这个LUN的使用率永远为100%,而实际上是0.

从技术角度讲,存储系统想要监控LUN之内的实际数据使用率也不是什么难题,只要能够感知其上的文件系统逻辑即可查到,我们将会在随后详细描述。。。


好吧,我们接下来看一下存储系统对LUN实际占用空间的检测,可以选择简单模式、复杂模式和完美模式三种,我们分别通过介绍着三种模式,体会一下存储系统对LUN的检测效果:

简单模式:系统记录一个High Water Mark(高水位线),目标LUN曾经接收到的写IO所对应的LBA地址最长(最远)的那个,利用这个HWM来判断目标LUN实际占用的空间。比如一开始存储系统创建了一个大小为1TB的LUN,但是由于Thin Provisioning模式,这个LUN刚被创建的时候事不占用存储系统的物理空间的,系统只是记录一下,假设第一个IO就是向这个LUN的最后一个LBA地址写入数据,那么存储系统就会去判断是否已经超过了当前已经使用的最大的LBA地址,那么系统就会再分配一段物理空间给这个LUN。

复杂模式:系统可以识别简单模式不能识别到的信息,要识别出当前LUN真正需要的物理空间,就需要记录更多的信息,比如LUN中哪些地址被写过,哪些尚未被写过,而记录这种信息的最佳手段就是Bitmap,Bitmap中的每个bit可以表示一个BLock(或称Page,比如4KB、16KB大小),如果需要写数据,就把对应的位置1,系统分配物理空间给这个LUN,更新LUN的Metadata,然后将数据写入对应的BLOCK。但是这样还不是完美的模式,因为这个LUN之上还有一层论及在做映射,也就是文件系统(或者其他程序自身管理的数据映射机制),总是文件系统里把这个LUN中的文件数据删除,但是对于存储系统来说,它根本感知不到文件逻辑,所以此时这些被删除的文件依然占用物理的空间。





1、Thin Provision/Over Allocation(瘦供)

可以翻译成 “超供”,更合适一点,具体见我自己整理的这篇博客吧:http://blog.csdn.net/changyanmanman/article/details/8395527









版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《大数据存储:MongoDB实战指南》一导读
多年来,我一直在和数据库存储技术打交道,深知数据存储技术在整个IT系统中起着至关重要的作用,尤其是随着云计算时代的到来,所有企业都面临着海量的数据信息,如何处理这些数据成为当前研究的热点。在过去二十几年中,数据的存储是关系数据库的天下,它以高效、稳定、支持事务的优势几乎统治了整个行业的存储业务;但是随着互联网的发展,许多新兴产业如社交网络、微博、数据挖掘等业务快速增长,数据规模变得越来越庞大,高效存储、检索、分析这些海量的数据,关系数据库变得不再适用。
1805 0
Spring 5 中文解析数据存储篇-事务同步和声明式事物管理
本章节主要描述:Spring 5 中文解析数据存储篇-事务同步和声明式事物管理。
733 0
+关注
长烟慢慢
系统架构师
814
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载