马来西亚航空公司航班370在东南亚某处突然神秘失踪,近几天以来,越来越多的人和组织加入了搜索的队伍。 他们利用自己手里的各种工具 - 其中不乏大数据分析工具 - 尝试找到这架失踪的波音777。该飞机搭载239人,它的神秘失踪牵挂着数以千计的家庭成员和朋友的心。
丹尼尔·哈德曼(Daniel Hardman)是位于犹他州的叫自适应计算(Adaptive Computing)公司的总架构师,他也带领一支队伍参与该飞机的搜索。 自适应计算以其被称作Moab的数据分析平台而闻名,这一平台在全球范围内被很多知名企业采用,包括橡树岭(Oak Ridge)国家实验室,剑桥大学,The Weather Channel等。
Adaptive Computing公司的Moab HPC套件和云(Cloud)计算套件是该公司的大工作流(Big Workflow)数据中心解决方案的组成部分,该解决方案整合所有数据中心资源,优化分析过程以保证高质量分析结果。大工作流(Big Workflow)因简化工作流程,从跨多个平台、环境和位置的的庞大数据群中分析得到结果而得名。
联手搜索客机
DigitalGlobe是上面Adaptive Computing公司的客户,该公司也积极参与了搜索。 总部设在科罗拉多州Longmont的DigitalGlobe公司是一家太空成象及地理空间内容的商业供应商,同时参与开发利用民用遥感航天器技术。它还拥有一家叫Tomnod的资源共享(crowdsourcing)网站, 通过该网站可以让每个人都参与客机搜索。
DigitalGlobe公司和Adaptive Computing公司正在通过这种资源共享式搜索查找370--该飞机自3月9日从雷达屏幕上失踪后,截至3月16日该文发表当天,仍然下落不明。 任何人,只要输入您的电子邮件地址,都可以去这个网站加入搜索。
请点击参阅本Fast Company的该文章,查看关于资源共享式搜索寻找370的更多细节。
“DigitalGlobe公司接到的任务,通常时间都非常紧迫,”哈德曼告诉eWEEK,“情况大多都是:”我们迫切需要搜索世界的某个区域,我们正在寻找目标X。' 他们必须对那个特定区域的卫星进行特定操作。然后,他们收集最新卫星画面,并运行复杂的计算步骤来分析这些图像。这些步骤包括图片叠加和像素调和等,以保证它们不重叠,然后从这些小图片建成一个巨大的镶嵌画。“
从天空搜索大洋
DigitalGlobe公司搜索的重点在马来西亚各地的海洋中,而不是在陆地。卫星会拍摄大量照片,这些照片传送到公司的大数据存储库中。 照片可以根据需要进行修正,使色彩一致,对比度均匀,并根据不同的拍摄角度做调整[因为卫星总是在移动],并检测是否有云层遮挡等。 然后,无法使用的照片会被去除。
DigitalGlobe公司Adaptive的Big Workflow解决方案及Moab作为核心组件来动态分配资源,最大限度地提高数据吞吐量,并监测系统的图像分析效率;DigitalGlobe公司已经拥有覆盖超过45亿平方公里地域的数据档案。 拥有这么大的全球数据量,通过使用Tomnod平台,利用卫星图像分析帮助发现370是非常有意义的。
“他们将创建一个针对370的自定义算法,按照该算法:”这是一架完整飞机看起来的样子;这里是可能的碎片和零部件的样子,'“Adaptive发言人Jill King告诉eWEEK。 “他们正在训练自己的电脑去寻找那些形状,也可以寻找特定的颜色 - 甚至某些类型的反射光。
“数据中心然后会使用Moab来分析每一个形状,看看他们是否和370匹配。”
利用Big Workflow,DigitalGlobe公司可以处理海量地球空间大数据,并在90分钟内确定诸如飞机一样的形状,从而在诸如370失踪等的灾害事件发挥救援作用。
Big Workflow使大面积搜索成为可能
“Moab大大提高了我们在灾难袭来时的反应能力,”DigitalGlobe公司首席架构师贾森(Jason Bucholtz)说, “有了Big Workflow,即使在不增加新的资源的情况下,以我们现有的基础设施,我们也能够对地球任何地方的变化做出快速的分析判断。”
应对类似370迷失的不寻常事件,DigitalGlobe公司可能通过信息共享模式收集尽可能多的各种数据。
“登录Tomnod.com后,任何人都可以去看数据库中的任何照片,你可以标记任何看起来可疑的东西,”哈德曼说, “问题是,人们可以看到很多东西,但他们可能并不总是有意义的东西。例如,有人可能会看到他们认为是不寻常的东西,但它实际上只是一些漂浮的垃圾或看起来有点可疑的白色波浪。”
“DigitalGlobe所做的是将成千上万的人的标记输入分析系统,通过后台强大的大数据过滤器分析过滤:”是否有印度洋某个区域,很多人都做了可疑标记?“ 然后,他们会对这些标记做类比分析。根据分析结果,搜索和救援专家们可能会做出判断,'这儿有一个热点,飞过去检查一下'。“
截至3月15日下午2点(太平洋时间),根据Tomnod.com网站提供的数据,已经有421338的照片产生并输入到分析引擎 - 每张照片大约覆盖1,000至2,000英尺宽的印度洋区域。
“我不知道最终的搜索规模会有多大,但我们现在收集的数据覆盖了当前搜索西面非常宽广的一片海域。”哈德曼说。
截至3月15日,搜索仍在进行,全世界无数双眼睛正关注着该事件 - 而我们高效运转的照片/数据分析引擎正试图揭开失踪客机的神秘面纱。
原文发布时间为:2014-03-22
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号