虚拟化存储的演进
根据美国IDC预计,到2020年,我国数据的存储总量将达到39ZB。每个企业都把数据当作自己最核心的价值,就像国内某打车公司,一直标榜自己是数据公司。的确,他们掌握了用户每天上下班的出行数据,从这些数据可以精准地分析用户的作息及活动区域等,从而可以进行精准营销,因此数据的价值是不可估量的,存储数据自然显得尤其重要。这些都对存储系统提出了很高的要求,一方面需要满足大数据存储,可能是TB,或者PB级别,甚至EB级别,另一个方面是数据的存取速度和吞吐量,还有就是数据的高可靠性和容灾备份等。当前数据的存储已经不能局限在数据的持久化上,更需要结合大数据、机器学习、人工智能等技术进行数据处理,让数据发挥更大的价值
1ZB=103EB=106PB=109TB=1012GB
san存储应用而生
以数据中心SAN(存储区域网络)和NAS(网络接入存储)为代表的集中存储。高端存储一直是EMC、IBM、NetApp和HDS的天下(我司占了两家),这些年外置存储伴随着廉价磁盘不断提升容量和性能,SAN网络、主机FC接口不断成熟,在数据中心变得很普遍,尤其在金融领域,甚至还出现了一些全闪存的存储集群。SAN提供的是块存储。
例如,磁盘阵列里面有10块1TB数据盘,然后可以通过做RAID或者逻辑卷(LVM)的方式划分出10个数据盘,但这10个数据盘已经和之前的物理磁盘不一样了。一个逻辑盘可能由第一个物理盘提供100GB,第二个物理盘提供300GB。
对于操作系统来说,完全无法感知是物理盘,还是逻辑盘,这是存储资源池的理念。通过RAID或者LVM不仅可以提供数据保护,还能够重新划分盘的大小,提高读写速率。
但SAN也存在缺点,首先,它价格比较昂贵,光纤口、光纤交换机价格高,所以才有了IP SAN存储,通过IP协议承载存储协议;其次,无法提供数据共享,一个盘(LUN)只能挂给一个主机,为了共享数据,出现了NAS存储。NAS存储通过网络介入的方式可以很好地解决这个问题,很多中高端存储都既有NAS接口、也有SAN接口。
光纤SAN存储逻辑架构图
这些商业存储通常都是由定制的硬件和闭源的软件组成的,而且购买和维护成本也很高,由一些存储厂商控制其生态。伴随着大数据和非结构化数据暴增,以及互联网技术的兴起,存储的架构发生了巨大变化。