高速计算+海量存储 浪潮服务器让中国“看得更清”

简介:

由近两百台浪潮双路服务器NF5270M4搭建成的集群存储系统,为高分卫星地面数据处理系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,有效的提升了我国全球数据及时获取、接收和处理的能力,实现了对中国及周边地区多尺度、近实时的高分辨率观测能力。

 高速计算+海量存储 浪潮服务器让中国看得更清

浪潮服务器NF5270M4支撑高分专项地面数据处理系统

卫星那些事儿,离你并不远

发射卫星,跟百姓生活有什么关系吗?我们经常能听到这样的疑问。在许多人看来,航天技术高高在上,与我们的日常生活相去甚远。然而事实上,遥感、通信、导航等卫星的应用早与你我生活密不可分。利用风云气象卫星云图制作的天气预报,每天近10亿人收看;通过通信广播卫星,大众能随时了解信息变化;最近火起来的共享自行车使用的就是卫星提供的服务……

2006年,《国家中长期科学与技术发展规划纲要(2006-2020年)》把高分辨率对地观测系统列为当年部署的16个重大专项之一,是中国着手研发的新一代高分辨率对地观测系统。2010年5月,"高分专项"全面启动,这是一个非常庞大的遥感技术项目,包含至少7颗卫星和其他观测平台,分别编号为"高分一号"到"高分七号",都将在2020年前发射并投入使用。"高分"系列卫星覆盖了从全色、多光谱到高光谱,从光学到雷达,从太阳同步轨道到地球同步轨道等多种类型,构成了一个具有高空间分辨率、高时间分辨率和高光谱分辨率能力的对地观测系统。

想要"看得更清" 数据处理能力成关键

高分专项相关工作人员介绍到:"资源卫星成功发射升空后,资源卫星中心根据任务需要,相机进行照相并将图像信息等压缩成数字信息,再传到地面接收站,由数据处理中心将数字信息处理成图像,遥感专家再根据任务的需要对图像进行解译和判读,形成分析报告提供给农业、林业、水利、国土资源、城市规划、环境保护、灾害监测、海洋、测绘、国防建设等有关部门和单位。"

想要实现"看得更清"的目的,承担遥感卫星图像数据的存取和处理任务的地面数据处理系统必须具备极高的数据处理能力。以2*450Mbps极化复用商用遥感卫星为例,其每天接收的原始数据约为10TB,而这些数据都要存储在地面数据处理系统之中,同时系统还要随时承担应用数据调取和冷数据归档等数据IO任务。因此,地面数据处理系统呈现出大数据量、高IO带宽、多应用并等特点。

而随着高分卫星数据的不断增加,卫星应用的不断升级,后端地面数据处理系统对于卫星数据的存储和处理能力需求也在不断增加。想要"看得更清",高分辨率对对地观测系统地面数据处理系统的全面升级和扩展迫在眉睫。

对症下药才能药到病除

想要突破高分专项地面数据处理系统存储和计算能力的瓶颈,必须找到系统问题的根源,才能对症下药。浪潮工程师通过对用户业务进行分析,发现:

首先,此种平台应用具有系统数据存储量大,数据IO峰值并发高,应用类型复杂等多个特点,这对集群存储系统的压力极大。因此,必须采用拥有大容量、高IO、高可用的服务器设备。

其次,伴随着业务的发展与技术的革新,数据资料的数量会不断增加、体积会不断变大。因此,需要集群存储系统具备极强的扩展能力,能够在业务不中断的情况下进行容量和性能的提升,满足不断发展的业务需求。

再次,由于用户数据的重要性,本系统相对同类产品必须具有技术先进性和前瞻性,保证在足够长的年限内满足业务的需求。

针对这些特点和问题,浪潮工程师用数百台浪潮双路服务器NF5270M4帮助高分辨率对地观测系统地面数据处理系统搭建集群存储系统,存储系统软件使用的是集群文件系统,这是一个高度容错性的系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,适合部署在高性价比的服务器上。根据该系统的应用特性,浪潮提供了双路服务器NF5270M4服务器,为用户提供高性价比、高硬盘密度、灵活部署的集群存储服务器解决方案。

浪潮双路服务器NF5270M4

浪潮NF5270M4采用全新智能计算加速技术,搭载英特尔最新E5 v4处理器,可根据用户应用智能调节提供更优性能,应用性能显著提升。采用最新的DDR4内存技术,内存带宽提升50%。相比DDR3,传输速率提高2~4倍,但耗电量却大幅减少,在相同传输速率下,功率降低高达57.1%。为适配卫星数据大容量,高并行性等特点,NF5270M4超大存储空间为高分系统的大数据平台提供足够的存储空间及响应速度。

整个集群存储系统采用管理网络与业务网络分离的方式进行部署,所有的集群存储服务器分别连接千兆管理网络和万兆业务网络,并通过10Gb/s和40Gb/s上联端口将整个系统上联到资源卫星中心已有的核心交换网络中,无缝接入到已有的系统当中。

高分专项 利国利民

本着先进性、开放性、易管理、安全性、可靠性和经济性等原则,依托浪潮服务器建设的高分专项(民用部分)地面数据处理系统建设完成后,将为原有系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,提升我国全球数据及时获取、接收和处理的能力,实现对中国及周边地区多尺度、近实时的高分辨率观测能力。

"高分专项"的实施,将全面提升中国自主获取高分辨率观测数据的能力,加快中国空间信息应用体系的建设,推动卫星及应用技术的跨越发展,有力保障现代农业、防灾减灾、资源环境、国家安全的重大战略,大力支撑国土调查与利用、地理测绘、海洋和气候气象观测、水利和林业资源监测、城市和交通精细化管理、疫情评估与公共卫生应急、地球系统科学研究等重点领域应用需求,积极支持区域示范应用,加快推动空间信息产业发展。


原文发布时间为: 2017年7月11日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
16天前
|
存储 数据挖掘 索引
服务器数据恢复—LeftHand存储结构和P4500存储数据恢复案例
LeftHand存储支持RAID5、RAID6、RAID10磁盘阵列,同时还支持卷快照,卷动态扩容等。下面简单聊一下LeftHand存储的结构和一个LeftHand p4500存储中磁盘阵列数据恢复案例。
服务器数据恢复—LeftHand存储结构和P4500存储数据恢复案例
|
18天前
|
存储 运维 Oracle
服务器数据恢复—光纤共享存储互斥出现问题的数据恢复案例
两台SOLARIS系统(SPARC平台)的服务器通过光纤交换机共享同一个存储作为CLUSTER使用。正常情况下只有A服务器工作。如果A服务器发生故障宕机,可将A服务器关机,开启B服务器接管。但由于配置不当导致共享存储互斥出现问题。 管理员进行运维检查时发现B服务器连接了一块未知磁盘。由于B服务器并未启用,处于闲置状态,所以管理员也将这块磁盘当作闲置的,于是在B服务器上将磁盘的某个分区做了newfs。没想到这块磁盘就是那个共享存储,执行操作没有多长时间A服务器就开始报警并宕机。
|
24天前
|
机器学习/深度学习 算法 数据库
阿里云服务器架构区别解析:从X86计算、Arm计算到高性能计算架构的区别参考
在我们选择阿里云服务器的架构时,选择合适的云服务器架构对于提升业务效率、保障业务稳定至关重要。阿里云提供了多样化的云服务器架构选择,包括X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器以及高性能计算等。本文将深入解析这些架构的特点、优势及适用场景,以供参考和选择。
阿里云服务器架构区别解析:从X86计算、Arm计算到高性能计算架构的区别参考
|
13天前
|
存储 弹性计算
阿里云服务器系统盘存储空间不够用怎么办?
当阿里云服务器系统盘空间不足时,您可以通过系统盘扩容或挂载数据盘解决。系统盘扩容无需重启服务器,详细步骤见系统盘扩容教程。挂载数据盘需预先购买,并确保与服务器位于同一地域和可用区,最多可挂载64块,详情见挂载数据盘教程
|
23天前
|
弹性计算 监控 网络安全
解锁云端力量:ECS全攻略,从新手到专家的实战之旅!轻松掌握云计算核心技能,驾驭数字浪潮之巅!
【8月更文挑战第22天】云计算中的弹性计算服务(ECS)让企业和开发者能按需获取虚拟服务器,灵活配置CPU、内存等资源。本文从零开始指导ECS的基础操作与高级技巧,包括实例创建、SSH连接、Web应用部署及利用ELB和自动伸缩优化性能。同时介绍监控工具和数据备份方法,帮助您全方位掌握ECS的高效运用,满足业务需求并保障数据安全。
49 3
|
26天前
|
存储 JavaScript 前端开发
Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
|
26天前
|
存储 内存技术
【RAID磁盘阵列服务器数据恢复】华为OceanStor Dorado存储系统RAID-TP数据丢失数据恢复案例
客户报告其华为OceanStor Dorado存储系统的RAID-TP出现故障,导致数据丢失。RAID-TP是一种增强型RAID级别,包含数据磁盘、校验磁盘和转换磁盘,可在两个磁盘故障时仍保护数据。通过分析RAID结构与工作原理,我们制定了恢复方案:首先从校验磁盘读取信息并计算出丢失的数据块,接着将恢复的数据写入新磁盘。由于缺乏现成工具,需定制RAID重组程序以恢复数据。华为的动态RAID重构技术保证了重构过程中冗余级别的稳定。
29 1
|
15天前
|
JavaScript 前端开发 UED
服务器端渲染新浪潮:用Vue.js和Nuxt.js构建高性能Web应用
【8月更文挑战第30天】在现代Web开发中,提升应用性能和SEO友好性是前端开发者面临的挑战。服务器端渲染(SSR)能加快页面加载速度并改善搜索引擎优化。Vue.js结合Nuxt.js提供了一个高效框架来创建SSR应用。通过安装`create-nuxt-app`,可以轻松创建新的Nuxt.js项目,并利用其自动路由功能简化页面管理。Nuxt.js默认采用SSR模式,并支持通过`asyncData`方法预取数据,同时提供了静态站点生成和服务器端渲染的部署选项,显著提升用户体验。
39 0
|
18天前
|
弹性计算 运维 Serverless
揭秘ADB Serverless架构:如何实现无服务器计算的神奇魔法?
【8月更文挑战第27天】随着云计算的演进,Serverless架构作为一种新兴计算模式崭露头角。阿里云函数计算(简称ADB)提供了一种无需管理服务器即可运行代码的服务。本文通过案例探讨ADB Serverless模式的实现方式。首先介绍Serverless架构的基础概念,即事件驱动模型,使开发者仅需关注业务逻辑,减轻了基础设施构建与维护的负担。ADB采用分布式、无状态的设计,确保高可用性和弹性伸缩能力。以一个简单的Web应用为例,展示了如何利用ADB快速实现根据用户输入返回问候语的功能,突显出其简化开发流程、提高性能与可扩展性的优势。
30 0
|
4天前
|
Cloud Native Java 编译器
将基于x86架构平台的应用迁移到阿里云倚天实例云服务器参考
随着云计算技术的不断发展,云服务商们不断推出高性能、高可用的云服务器实例,以满足企业日益增长的计算需求。阿里云推出的倚天实例,凭借其基于ARM架构的倚天710处理器,提供了卓越的计算能力和能效比,特别适用于云原生、高性能计算等场景。然而,有的用户需要将传统基于x86平台的应用迁移到倚天实例上,本文将介绍如何将基于x86架构平台的应用迁移到阿里云倚天实例的服务器上,帮助开发者和企业用户顺利完成迁移工作,享受更高效、更经济的云服务。
将基于x86架构平台的应用迁移到阿里云倚天实例云服务器参考