从科幻灵感开始的一场数据存储基础设施实验之旅

本文涉及的产品
简介:
  在过去的这个假期里,我深深地体会到了经典科幻电影迷们的那种情感,尤其是当我准备将各种各样无记录的部件组装成一台复杂的存储系统的时候,这种情感从未如此强烈。在那段时间,我就是彻头彻尾的Dr. Cal Meacham(出自1955年上映的经典科幻电影This Island Earth),但是我却没有“Metalunan”(同样出自该电影的角色)来帮我做记录工作。抛开做一些“排序”工作或者其他一些电影中提到的工作不谈,我也不是很确定我的这项发明能够用来存储数据。但不管怎样,我在这个项目中时刻保持着激情。

从科幻灵感开始的一场数据存储基础设施实验之旅

背景故事

我的测试环境包括两台互为集群的DataCore SANsymphony服务器,其实它早就变成了一台连接各种设备并用于各种测试的外部存储——从USB到eSATA以及Fibre Channel(FC)。每块StarTech.com eSATA板子都达到了它们的极限,它们的硬盘通过DataCore经过虚拟化处理后被放到了存储池中,并平均分给了那两台服务器。通过复制功能,保证两边硬盘上的数据始终是一致的。随着2016年的研究项目进入尾声,我认为是时候去重新考虑下数据存储的架构了,让这堆零散的东西变得更有意义,在新的一年发挥更大的作用。

在这个假期里,一个朋友跟我说他们的公司正准备淘汰一批Promise Technology的阵列——准确的说是3台——通过iSCSI、FC和SAS连接的。他表示如果我想到话,可以将这些阵列用在我的那台存储架构的服务器上,既能实现“垃圾回收”,又能升级我的系统。我确实很想要这批设备,所以在圣诞节的前几天,他开着拖车出现在了我的公寓门口。

当他迫不及待地卸下了那批货物并转身离开的时候,我知道我的生活将会随之改变。每台设备都很重,很显然里面包含了来自不同厂商的TB级和500GB的SATA硬盘,以至于让我、我的朋友以及我未成年女儿的男性朋友合力才能搬到我的办公室里。

“下周我会打电话给你询问下事情的进展,”我的那位朋友在离开的时候急匆匆地说。

卷1:搭建

几乎如他所预见的一样,像我这种智力有限的人是没法完成interocitor测试的。但就像处于科幻电影黄金时代的Meacham一样,我在最开始就预见到了这件事:我购买了3个坚固的架子并用来放置设备:分别为12,12和16台机柜。此前我从来没想到几百TB的数据会如此沉重。

目测来看,这些设备上没有iSCSI接口,但是却有两个FC和1个SAS。更为重要的是,每台机柜在开机之后都会产生巨大的噪音,整个办公室就像飞机库一样。

当决定了如何放置这些设备之后,我开始着手清理电源上的风扇,同时考虑如何为它们提供充足的电力和网络连接,为的就是把这一整套设备放在100英尺(加上两堵墙)的存储室内,和我工作的地方隔离开来。机柜和服务器之间的连接也是一个令人头疼的问题。

卷2:挑战

计划是这样的:将放在外置eSATA、USB以及iSCSI存储上的数据转移到通过新设备搭建的虚拟存储池中。为了实现这个计划,我需要将新阵列连接到服务器上,通过DataCore对其进行格式化并建池,然后将数据拷贝过去,这样之后才能将之前的设备全部淘汰掉。

这是我遇到的第一个挑战。我的服务器上没有多余的HBA插槽了,不管是FC还是SAS。从eBay的搜索结果来看,我需要为每块HBA提供一个PCIe x16的槽位。而我的服务器有两个插槽,一个用在了声卡上,另一个则用在了作为集群灾备的两端口的FC板卡上。eSATA需要一个PCIe x1插槽,还剩下一些看起来不错但是比较过时的32位PCI插槽。其实我可以从Association of Service以及Computer Dealers的供应商那里买到极为便宜的HBA卡,或者从eBay也可以,但前提是我得有多余的插槽。

长话短说,最大的设备居然是一块被某人出于某种原因翻新过的FC控制器。我之所以发现这件事,还是在新年过后和一位来自Promise Technology的技术支持的聊天中,我顺带脑补了这样一个场景:我摇着他的头问道:“你就不能从Promise买一块最新的VTrak吗?”

卷3:收尾

我需要进行很多测试来验证控制卡移植的可用性。但不管怎样,一块SAS和一块FC都被我丢下了。我也可以将FC控制器集成到SAS中,进而将它转换成一个FC设备。这也使得我可以将每台存储设备连接到服务器上的任何一个HBA的FC端口上。或者,我也可以买一台二手的Brocade FC交换机,从二手市场购买的话既可以便宜80刀,还能保证所有连线都是安装好的。

不管采用哪种办法,我的interocitor测试平台最后都搭建起来并开始运行了,而且在很短的时间里,所有的存储架构都将被进行虚拟化,所有那些4硬盘的小阵列进而都会被淘汰掉。好吧,也许是我下次需要更多活动空间的时候才会考虑将它们都扔掉。

下一步就是为整个平台部署一套Strongbox Technologies的Strong LINK软件,同时添加一套LTO-5或者更好的带库存储设备来运行Linear Tape File System。这样一来,那些极少被访问的数据就会被自动迁移到带库中了。

我花了不到几百美元的钱搭建了一套不错的存储架构,而且还可以定期对其进行扩展。这就是我所谓的特殊的圣诞假期。在此感谢Metalunans给我的启示。

*Interocitor,1955年科幻电影中的智力测试设备。

【编辑推荐】

 
 
  作者:Jon Toigo
来源:51CTO
相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 编解码
课时1;跨越N次元 一键变身AI漫画人
课时1;跨越N次元 一键变身AI漫画人
123 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
科普神文,一次性讲透AI大模型的核心概念
令牌,向量,嵌入,注意力,这些AI大模型名词是否一直让你感觉熟悉又陌生,如果答案肯定的话,那么朋友,今天这篇科普神文不容错过。我将结合大量示例及可视化的图形手段,为你由浅入深一次性讲透AI大模型的核心概念。本文转载至:https://baijiahao.baidu.com/s?id=1779925030313909037&wfr=spider&for=pc。确实是一篇很不错的文,很好的解释了大模型底层的一些基本概念,对于我这种AI新手非常友好哈哈哈
科普神文,一次性讲透AI大模型的核心概念
|
8月前
|
消息中间件 大数据 Kafka
如何用大数据技术搭建一个高效的搬砖系统?
如何用大数据技术搭建一个高效的搬砖系统?
|
7月前
|
架构师 算法 测试技术
嵌入式系统软件架构设计(长篇深度好文)
嵌入式系统软件架构设计(长篇深度好文)
1126 0
|
编译器 C语言 C++
高效学习C++基础部分&话题挑战赛
高效学习C++基础部分&话题挑战赛
121 0
高效学习C++基础部分&话题挑战赛
|
存储 缓存 运维
架构科普
  软件架构指软件系统的顶层结构;框架是面向编程或配置的半成品;组件是从技术维度上的复用;模块是从业务维度上职责的划分;系统是相互协同可运行的实体。   软件开发最本质的挑战有两个:复杂和变更,而软件的价值是保证业务的响应力,与之相对的是开发资源的有限,各种的软件开发方法论,也都是在研究有限的资源下,如何应对着两个挑战,寻找平衡点,实现业务目标。因为是在寻找平衡点,就说明是有取舍的,所以就没有所谓的银弹的存在。
|
安全 算法 程序员
高效能程序员的修炼札记:安全基础,保护用户数据
高效能程序员的修炼札记:安全基础,保护用户数据
118 0
DayDayUp:《机器崛起前传》第二十二章【蹒跚而来】读后感(文章源自网络)—听课笔记
DayDayUp:《机器崛起前传》第二十二章【蹒跚而来】读后感(文章源自网络)—听课笔记
|
安全 5G SDN
带你读《扬帆远航 5G 融合应用实践精编》第三章钢铁行业3.2案例介绍(一)
《扬帆远航 5G 融合应用实践精编》第三章钢铁行业3.2案例介绍(一)
带你读《扬帆远航 5G 融合应用实践精编》第三章钢铁行业3.2案例介绍(一)