“大数据”协助搜索失联飞机

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:   马来西亚航空公司航班370在东南亚某处突然神秘失踪,近几天以来,越来越多的人和组织加入了搜索的队伍。 他们利用自己手里的各种工具 - 其中不乏大数据分析工具 - 尝试找到这架失踪的波音777。


 

马来西亚航空公司航班370在东南亚某处突然神秘失踪,近几天以来,越来越多的人和组织加入了搜索的队伍。 他们利用自己手里的各种工具 - 其中不乏大数据分析工具 - 尝试找到这架失踪的波音777。该飞机搭载239人,它的神秘失踪牵挂着数以千计的家庭成员和朋友的心。

 

丹尼尔·哈德曼(Daniel Hardman)是位于犹他州的叫自适应计算(Adaptive Computing)公司的总架构师,他也带领一支队伍参与该飞机的搜索。 自适应计算以其被称作Moab的数据分析平台而闻名,这一平台在全球范围内被很多知名企业采用,包括橡树岭(Oak Ridge)国家实验室,剑桥大学,The Weather Channel等。

 

Adaptive Computing公司的Moab HPC套件和云(Cloud)计算套件是该公司的大工作流(Big Workflow)数据中心解决方案的组成部分,该解决方案整合所有数据中心资源,优化分析过程以保证高质量分析结果。大工作流(Big Workflow)因简化工作流程,从跨多个平台、环境和位置的的庞大数据群中分析得到结果而得名。

 

联手搜索客机

DigitalGlobe是上面Adaptive Computing公司的客户,该公司也积极参与了搜索。 总部设在科罗拉多州Longmont的DigitalGlobe公司是一家太空成象及地理空间内容的商业供应商,同时参与开发利用民用遥感航天器技术。它还拥有一家叫Tomnod的资源共享(crowdsourcing)网站, 通过该网站可以让每个人都参与客机搜索。

 

DigitalGlobe公司和Adaptive Computing公司正在通过这种资源共享式搜索查找370--该飞机自3月9日从雷达屏幕上失踪后,截至3月16日该文发表当天,仍然下落不明。 任何人,只要输入您的电子邮件地址,都可以去这个网站加入搜索。

请点击参阅本Fast Company的该文章,查看关于资源共享式搜索寻找370的更多细节。

 

“DigitalGlobe公司接到的任务,通常时间都非常紧迫,”哈德曼告诉eWEEK,“情况大多都是:”我们迫切需要搜索世界的某个区域,我们正在寻找目标X。' 他们必须对那个特定区域的卫星进行特定操作。然后,他们收集最新卫星画面,并运行复杂的计算步骤来分析这些图像。这些步骤包括图片叠加和像素调和等,以保证它们不重叠,然后从这些小图片建成一个巨大的镶嵌画。“

 

从天空搜索大洋

DigitalGlobe公司搜索的重点在马来西亚各地的海洋中,而不是在陆地。卫星会拍摄大量照片,这些照片传送到公司的大数据存储库中。 照片可以根据需要进行修正,使色彩一致,对比度均匀,并根据不同的拍摄角度做调整[因为卫星总是在移动],并检测是否有云层遮挡等。 然后,无法使用的照片会被去除。

 

DigitalGlobe公司Adaptive的Big Workflow解决方案及Moab作为核心组件来动态分配资源,最大限度地提高数据吞吐量,并监测系统的图像分析效率;DigitalGlobe公司已经拥有覆盖超过45亿平方公里地域的数据档案。 拥有这么大的全球数据量,通过使用Tomnod平台,利用卫星图像分析帮助发现370是非常有意义的。

 

“他们将创建一个针对370的自定义算法,按照该算法:”这是一架完整飞机看起来的样子;这里是可能的碎片和零部件的样子,'“Adaptive发言人Jill King告诉eWEEK。 “他们正在训练自己的电脑去寻找那些形状,也可以寻找特定的颜色 - 甚至某些类型的反射光。

 

“数据中心然后会使用Moab来分析每一个形状,看看他们是否和370匹配。”

 

利用Big Workflow,DigitalGlobe公司可以处理海量地球空间大数据,并在90分钟内确定诸如飞机一样的形状,从而在诸如370失踪等的灾害事件发挥救援作用。

 

Big Workflow使大面积搜索成为可能

“Moab大大提高了我们在灾难袭来时的反应能力,”DigitalGlobe公司首席架构师贾森(Jason Bucholtz)说, “有了Big Workflow,即使在不增加新的资源的情况下,以我们现有的基础设施,我们也能够对地球任何地方的变化做出快速的分析判断。”

 

应对类似370迷失的不寻常事件,DigitalGlobe公司可能通过信息共享模式收集尽可能多的各种数据。

 

“登录Tomnod.com后,任何人都可以去看数据库中的任何照片,你可以标记任何看起来可疑的东西,”哈德曼说, “问题是,人们可以看到很多东西,但他们可能并不总是有意义的东西。例如,有人可能会看到他们认为是不寻常的东西,但它实际上只是一些漂浮的垃圾或看起来有点可疑的白色波浪。”

 

“DigitalGlobe所做的是将成千上万的人的标记输入分析系统,通过后台强大的大数据过滤器分析过滤:”是否有印度洋某个区域,很多人都做了可疑标记?“ 然后,他们会对这些标记做类比分析。根据分析结果,搜索和救援专家们可能会做出判断,'这儿有一个热点,飞过去检查一下'。“

 

截至3月15日下午2点(太平洋时间),根据Tomnod.com网站提供的数据,已经有421338的照片产生并输入到分析引擎 - 每张照片大约覆盖1,000至2,000英尺宽的印度洋区域。

 

“我不知道最终的搜索规模会有多大,但我们现在收集的数据覆盖了当前搜索西面非常宽广的一片海域。”哈德曼说。

 

截至3月15日,搜索仍在进行,全世界无数双眼睛正关注着该事件 - 而我们高效运转的照片/数据分析引擎正试图揭开失踪客机的神秘面纱。


原文发布时间为:2014-03-22


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
184 1
|
4月前
|
运维 监控 Java
在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。
【7月更文挑战第1天】在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。本文讲解如何在Java中集成Elasticsearch,包括安装配置、使用RestHighLevelClient连接、创建索引和文档操作,以及全文检索查询。此外,还涉及高级查询、性能优化和故障排查,帮助开发者高效处理非结构化数据。
72 0
|
前端开发 JavaScript 大数据
24jqGrid -搜索大数据
24jqGrid -搜索大数据
46 0
|
大数据
阿里云产品体系分为6大分类——大数据——大数据的5种模块——大数据搜索与分析
阿里云产品体系分为6大分类——大数据——大数据的5种模块——大数据搜索与分析自制脑图
352 1
|
存储 数据采集 XML
大数据数据采集的数据来源的日志数据之搜索类数据
在大数据领域,数据采集是一个非常重要的环节。日志数据已经成为了大数据应用中不可或缺的一部分,尤其是搜索类数据。本文将介绍搜索类日志数据作为数据来源的特点以及其采集流程。
183 0
|
前端开发 JavaScript 搜索推荐
select2,利用ajax高效查询大数据列表 1(可搜索、可分页)
select2,利用ajax高效查询大数据列表(可搜索、可分页)
495 0
select2,利用ajax高效查询大数据列表 1(可搜索、可分页)
|
存储 分布式计算 自然语言处理
基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
搜索一直是电商行业流量来源的核心入口之一,如何搭建电商行业搜索并提升搜索效果,一直是电商行业开发者努力攻克的难题。基于传统数据库或开源引擎虽然能够搭建基础搜索服务,但随着商品数据的增多和业务流量的增长,难免会遇到性能瓶颈和效果瓶颈。另一方面,随着电商、直播、云计算等技术的不断发展,越来越多的传统零售企业正在进行互联网云上转型,特别是受近两年疫情等因素的影响,APP、小程序已经成为零售企业重要的业务增长来源。在此背景下,如何快速搭建高效搜索服务成为零售行业上云及转型的难题。
1204 0
基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
|
前端开发 Java 大数据
select2,利用ajax高效查询大数据列表2(可搜索、可分页)
select2,利用ajax高效查询大数据列表(可搜索、可分页)
179 0
|
机器学习/深度学习 人工智能 达摩院
大数据+AI Meetup 2021 首站!9位大佬解读向量搜索技术在多维场景下的应用
3月20日,阿里云开发者社区联合阿里云计算平台事业部、达摩院共同举办的 BIGDATA + AI Meetup · 北京站向量检索专场即将重磅开启!
大数据+AI Meetup 2021 首站!9位大佬解读向量搜索技术在多维场景下的应用
|
自然语言处理 运维 监控
阿里云飞天大数据产品价值解读——《一站式高质量搜索开放搜索》
随着研发技术的发展,开发者对内容、工具、平台等的一站式需求愈加强烈。为了构建更加高效和高质量的一站式大数据搜索产品,阿里云将一站式搜索服务的核心着眼于实现高质量以及开放式搜索。本次直播将由阿里云智能-高级产品专家染天为大家全面解析OpenSearch核心能力、搜索体验、价值评估并分享典型案例
4958 0
阿里云飞天大数据产品价值解读——《一站式高质量搜索开放搜索》
下一篇
无影云桌面