“大数据”协助搜索失联飞机

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:   马来西亚航空公司航班370在东南亚某处突然神秘失踪,近几天以来,越来越多的人和组织加入了搜索的队伍。 他们利用自己手里的各种工具 - 其中不乏大数据分析工具 - 尝试找到这架失踪的波音777。


 

马来西亚航空公司航班370在东南亚某处突然神秘失踪,近几天以来,越来越多的人和组织加入了搜索的队伍。 他们利用自己手里的各种工具 - 其中不乏大数据分析工具 - 尝试找到这架失踪的波音777。该飞机搭载239人,它的神秘失踪牵挂着数以千计的家庭成员和朋友的心。

 

丹尼尔·哈德曼(Daniel Hardman)是位于犹他州的叫自适应计算(Adaptive Computing)公司的总架构师,他也带领一支队伍参与该飞机的搜索。 自适应计算以其被称作Moab的数据分析平台而闻名,这一平台在全球范围内被很多知名企业采用,包括橡树岭(Oak Ridge)国家实验室,剑桥大学,The Weather Channel等。

 

Adaptive Computing公司的Moab HPC套件和云(Cloud)计算套件是该公司的大工作流(Big Workflow)数据中心解决方案的组成部分,该解决方案整合所有数据中心资源,优化分析过程以保证高质量分析结果。大工作流(Big Workflow)因简化工作流程,从跨多个平台、环境和位置的的庞大数据群中分析得到结果而得名。

 

联手搜索客机

DigitalGlobe是上面Adaptive Computing公司的客户,该公司也积极参与了搜索。 总部设在科罗拉多州Longmont的DigitalGlobe公司是一家太空成象及地理空间内容的商业供应商,同时参与开发利用民用遥感航天器技术。它还拥有一家叫Tomnod的资源共享(crowdsourcing)网站, 通过该网站可以让每个人都参与客机搜索。

 

DigitalGlobe公司和Adaptive Computing公司正在通过这种资源共享式搜索查找370--该飞机自3月9日从雷达屏幕上失踪后,截至3月16日该文发表当天,仍然下落不明。 任何人,只要输入您的电子邮件地址,都可以去这个网站加入搜索。

请点击参阅本Fast Company的该文章,查看关于资源共享式搜索寻找370的更多细节。

 

“DigitalGlobe公司接到的任务,通常时间都非常紧迫,”哈德曼告诉eWEEK,“情况大多都是:”我们迫切需要搜索世界的某个区域,我们正在寻找目标X。' 他们必须对那个特定区域的卫星进行特定操作。然后,他们收集最新卫星画面,并运行复杂的计算步骤来分析这些图像。这些步骤包括图片叠加和像素调和等,以保证它们不重叠,然后从这些小图片建成一个巨大的镶嵌画。“

 

从天空搜索大洋

DigitalGlobe公司搜索的重点在马来西亚各地的海洋中,而不是在陆地。卫星会拍摄大量照片,这些照片传送到公司的大数据存储库中。 照片可以根据需要进行修正,使色彩一致,对比度均匀,并根据不同的拍摄角度做调整[因为卫星总是在移动],并检测是否有云层遮挡等。 然后,无法使用的照片会被去除。

 

DigitalGlobe公司Adaptive的Big Workflow解决方案及Moab作为核心组件来动态分配资源,最大限度地提高数据吞吐量,并监测系统的图像分析效率;DigitalGlobe公司已经拥有覆盖超过45亿平方公里地域的数据档案。 拥有这么大的全球数据量,通过使用Tomnod平台,利用卫星图像分析帮助发现370是非常有意义的。

 

“他们将创建一个针对370的自定义算法,按照该算法:”这是一架完整飞机看起来的样子;这里是可能的碎片和零部件的样子,'“Adaptive发言人Jill King告诉eWEEK。 “他们正在训练自己的电脑去寻找那些形状,也可以寻找特定的颜色 - 甚至某些类型的反射光。

 

“数据中心然后会使用Moab来分析每一个形状,看看他们是否和370匹配。”

 

利用Big Workflow,DigitalGlobe公司可以处理海量地球空间大数据,并在90分钟内确定诸如飞机一样的形状,从而在诸如370失踪等的灾害事件发挥救援作用。

 

Big Workflow使大面积搜索成为可能

“Moab大大提高了我们在灾难袭来时的反应能力,”DigitalGlobe公司首席架构师贾森(Jason Bucholtz)说, “有了Big Workflow,即使在不增加新的资源的情况下,以我们现有的基础设施,我们也能够对地球任何地方的变化做出快速的分析判断。”

 

应对类似370迷失的不寻常事件,DigitalGlobe公司可能通过信息共享模式收集尽可能多的各种数据。

 

“登录Tomnod.com后,任何人都可以去看数据库中的任何照片,你可以标记任何看起来可疑的东西,”哈德曼说, “问题是,人们可以看到很多东西,但他们可能并不总是有意义的东西。例如,有人可能会看到他们认为是不寻常的东西,但它实际上只是一些漂浮的垃圾或看起来有点可疑的白色波浪。”

 

“DigitalGlobe所做的是将成千上万的人的标记输入分析系统,通过后台强大的大数据过滤器分析过滤:”是否有印度洋某个区域,很多人都做了可疑标记?“ 然后,他们会对这些标记做类比分析。根据分析结果,搜索和救援专家们可能会做出判断,'这儿有一个热点,飞过去检查一下'。“

 

截至3月15日下午2点(太平洋时间),根据Tomnod.com网站提供的数据,已经有421338的照片产生并输入到分析引擎 - 每张照片大约覆盖1,000至2,000英尺宽的印度洋区域。

 

“我不知道最终的搜索规模会有多大,但我们现在收集的数据覆盖了当前搜索西面非常宽广的一片海域。”哈德曼说。

 

截至3月15日,搜索仍在进行,全世界无数双眼睛正关注着该事件 - 而我们高效运转的照片/数据分析引擎正试图揭开失踪客机的神秘面纱。


原文发布时间为:2014-03-22


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL JSON 大数据
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
这篇文章是Elasticsearch的进阶使用指南,涵盖了Search API的两种检索方式、Query DSL的基本语法和多种查询示例,包括全文检索、短语匹配、多字段匹配、复合查询、结果过滤、聚合操作以及Mapping的概念和操作,还讨论了Elasticsearch 7.x和8.x版本中type概念的变更和数据迁移的方法。
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
299 1
|
前端开发 JavaScript 大数据
24jqGrid -搜索大数据
24jqGrid -搜索大数据
73 0
|
运维 监控 Java
在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。
【7月更文挑战第1天】在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。本文讲解如何在Java中集成Elasticsearch,包括安装配置、使用RestHighLevelClient连接、创建索引和文档操作,以及全文检索查询。此外,还涉及高级查询、性能优化和故障排查,帮助开发者高效处理非结构化数据。
188 0
|
大数据
阿里云产品体系分为6大分类——大数据——大数据的5种模块——大数据搜索与分析
阿里云产品体系分为6大分类——大数据——大数据的5种模块——大数据搜索与分析自制脑图
486 1
|
存储 数据采集 XML
大数据数据采集的数据来源的日志数据之搜索类数据
在大数据领域,数据采集是一个非常重要的环节。日志数据已经成为了大数据应用中不可或缺的一部分,尤其是搜索类数据。本文将介绍搜索类日志数据作为数据来源的特点以及其采集流程。
269 0
|
前端开发 JavaScript 搜索推荐
select2,利用ajax高效查询大数据列表 1(可搜索、可分页)
select2,利用ajax高效查询大数据列表(可搜索、可分页)
566 0
select2,利用ajax高效查询大数据列表 1(可搜索、可分页)
|
存储 分布式计算 自然语言处理
基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
搜索一直是电商行业流量来源的核心入口之一,如何搭建电商行业搜索并提升搜索效果,一直是电商行业开发者努力攻克的难题。基于传统数据库或开源引擎虽然能够搭建基础搜索服务,但随着商品数据的增多和业务流量的增长,难免会遇到性能瓶颈和效果瓶颈。另一方面,随着电商、直播、云计算等技术的不断发展,越来越多的传统零售企业正在进行互联网云上转型,特别是受近两年疫情等因素的影响,APP、小程序已经成为零售企业重要的业务增长来源。在此背景下,如何快速搭建高效搜索服务成为零售行业上云及转型的难题。
1375 0
基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
|
机器学习/深度学习 人工智能 达摩院
大数据+AI Meetup 2021 首站!9位大佬解读向量搜索技术在多维场景下的应用
3月20日,阿里云开发者社区联合阿里云计算平台事业部、达摩院共同举办的 BIGDATA + AI Meetup · 北京站向量检索专场即将重磅开启!
大数据+AI Meetup 2021 首站!9位大佬解读向量搜索技术在多维场景下的应用
|
自然语言处理 运维 监控
阿里云飞天大数据产品价值解读——《一站式高质量搜索开放搜索》
随着研发技术的发展,开发者对内容、工具、平台等的一站式需求愈加强烈。为了构建更加高效和高质量的一站式大数据搜索产品,阿里云将一站式搜索服务的核心着眼于实现高质量以及开放式搜索。本次直播将由阿里云智能-高级产品专家染天为大家全面解析OpenSearch核心能力、搜索体验、价值评估并分享典型案例
5099 0
阿里云飞天大数据产品价值解读——《一站式高质量搜索开放搜索》

热门文章

最新文章