波兰石油公司部署Panasas并行存储集群的成功案例

简介:
 

概要

    行业:石油和天然气

挑战:提供一种存储解决方案,即要能够满足不断增长的计算工作量对存储的需求又要不增加管理的复杂程度

方案:Panasas ActiveStor AS 3000系统,配有ActiveScale工作环境包括采用DirectFLOW协议的Panasas PanFS并行文件系统。

结果:地震资料处理工作的速度提高了6倍,提高了地球物理学家的生产效率,增加了工作的迭代次数且改善了成像结果和服务质量,提高了定位新能源储备和/或使现有油井产能最大化的成功概率。

    挑战

Geofizyka Krakow的用户依靠从公司收到的重要数据才能在这个苛求的行业中具有竞争力。快速提供精确的数据才能使Geo zyka Krakow和他们的用户在业务中共赢。公司的野外地震团队通常传送大量的地震观测资料到IT中心。使用西方公司的OMEGA SPS地震处理软件处理这些高达数百GB的文件,形成影像文件描绘出地质层位和结构。公司的地球物理学家解释这些数据,把他们的发现交给用户,使他们能够定位新油井和天然气的储量或优化现有油井的生产。

为使生产效率最大化,IT中心需要同时运行几个独立的地震资料处理工作。这些工作有些是I/O密集型的,在很多情况下单个I/O密集型工作将影响所有争用同一个存储阵列的其他工作,因此影响IT中心的总的生产能力。很明显他们需要一种解决方案,能够处理多种不同的工作而又能够保持管理简捷。

他们先前的存储器解决方案基于两个独立的NFS存储阵列,通过网络连接到两个独立的IBM计算集群上,从计算集群到存储器提供的是一种串行的I/O连接。由于多项工作同时在计算集群中运行,每项工作都争用串行I/O的带宽,I/O密集型工作一执行这种方案就很容易超过负荷而崩溃。

解决方案

Geofizyka Krakow要寻找一种解决方案,可以集成到他们现有的环境中并且能够处理I/O密集型工作量而不增加管理的复杂性和人员需求,从而保持高水平的生产效率。他们发现原有存储的缺点是在同时处理多个作业时产生的严重I/O瓶颈问题。他们决定调查寻找一种解决方案,它可以扩展同时发生I/O操作的数量又不对整体工作产生负面影响。

Geofizyka Krakow评测了一套Panasas AS 3000 ActiveStor并行存储系统,试验结果证明他们的选择是非常正确的。

他们发现当多项工作同时运行时Panasas PanFS并行文件系统能显著地提高工作效率高达6倍。Panasas并行存储解决方案配备了专利的面向对象的PanFS并行文件系统,它使用户能够最佳化应用程序和作业性能。这套解决方案使计算集群中的每个结点都能够直接存取存储器,允许各个结点能以并行方式同时处理I/O操作。单个全局名字空间显著地简化了存储管理,从而提高了生产率,能够完成更多工作。Panasas并行存储系统为石油和天然气行业用户地震资料处理、油藏建模和地震资料解释应用提供了统一的存储解决方案以及一级和二级存储解决方案,这套系统在业界是独一无二的,它有能力合理处理所有工作流程和提高数据的可用性。

    结果

Geofizyka Krakow完成地震资料处理的速度提高了六倍。系统性能的提升显著提高了地球物理学家的生产效率,快速提供计算结果且有机会迭代运算更多任务,改善成像效果。Panasas并行存储方案促使项目高质量的快速推进,帮助用户快速定位能源储备,最终使Geofizyka Krakow的石油和天然气行业用户的勘探工作受益。Geofizyka Krakow公司的计算机系统经理Leszek Boryczko说:“我们部署Panasas AS 3000之前,我们的地球物理学家经常来电话抱怨,等待地震资料处理的结果阻碍了他们的工作进度,自从部署了Panasas并行存储解决方案,我发现我们全部的IT工作流程都更加容易管理了,而且我们的地球物理学家的工作也更加富有成效,因为他们很快就能完成地震资料处理工作周期,我们能够快速地向用户提供更精确的结果。”

Geofizyka Krakow公司简介Geofizyka Krakow是波兰石油天然气集团公司的一部分,他在全球帮助主要的能源勘探和生产企业成功地勘探碳氢化合物和地热水矿床以及监测自然资源的储藏。公司创建于1956年,专注于地震资料的采集,处理和解释,录井和垂直地震资料处理服务,公司总部位于波兰的克拉科夫。

 


来源:51CTO
目录
相关文章
|
数据采集 存储 弹性计算
上海市新能源汽车数据平台引入阿里云Lindorm数据库,成本下降20%
浦东、闵行、宝山、嘉定是上海新能源汽车分布最多的4个区域;上海私用新能源车工作日平均行驶里程40多公里……目前,上海市新能源汽车数据平台日采集信息已经超过6.6亿条,平台数据采集量已超PB,为全市新能源汽车示范推广、政策制定、车辆分析等提供有效决策依据。据介绍,该平台基于阿里云原生多模数据库Lindorm开发而成,拥有高并发写入和实时检索分析能力,可根据信息采集量的增长进行弹性扩展,数据存储成本非常低。
3672 0
上海市新能源汽车数据平台引入阿里云Lindorm数据库,成本下降20%
安诺云联合阿里云国内首推批量计算,助力三代Canu组装加速
随着测序技术的不断发展,大量基因组学数据被积累,对于数据分析软件的要求也越来越高,尤其是在做基因组组装分析时,软件的计算资料消耗和分析周期往往是研究者不得不考虑的问题。Canu[1]是一款目前广泛使用的三代基因组组装软件,文章发表短短两年时间,引用的次数已接近1000次,其中不乏顶级的CNS期刊。
2999 0
开普勒望远镜正式退役,其庞大数据库仍将推动地球上的发现
服役9年中,开普勒望远镜共计观测到了50万颗恒星。
413 0
|
Web App开发
一张图看懂互联网史上最大规模的公共云迁移案例
6月7日,阿里云与国内领先的云存储企业115科技在2018云栖大会·上海峰会上宣布,已将公司全部数据迁移至阿里云上,总量超过100PB。 至此,双方合力完成了互联网史上规模最大的公共云数据迁移,仅耗时45天,创造了百PB级数据公共云迁移的新纪录,而这都要依托于阿里云推出的全新离线数据迁移方案——闪电立方。
1933 0
|
测试技术 调度 双11
直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”
2017天猫双11, 交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录。阿里集团基础设施蜻蜓,在双11期间,对上万台服务器同时下发5GB的数据文件,让大规模文件分发靠蜻蜓系统完美实现。
6285 0
|
关系型数据库 容灾 RDS
异地多活数据流基础设施DRC 双11支持571亿交易额背后的武器
本文将简要介绍我在QCON上做的DRC在异地双活的场景设计和应用分享,另外,我将介绍一下DRC在阿里云的使用场景。
2315 0
|
存储 数据中心
传统数据中心地位不保,2021年数据存储量被云超越
据知名研究机构IDC预测,2021年全球存储在公共云上的数据量将超过传统数据中心,传统数据中心自上世纪60年代起对企业数据的把持将被云打破,企业进入All in Cloud时代。
2023 0