美国国防部大数据的运用

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:  据防务系统网9月23日报道:这个迫在眉睫的预算紧缩的时代正在加大美国国防规划者的压力——战场内外利用大数据能力。对于军方来说,无定型术语“大数据”是指从信号情报、手机和电子战截获到卫星图像到视频图像的一切数据。

 据防务系统网9月23日报道:这个迫在眉睫的预算紧缩的时代正在加大美国国防规划者的压力——战场内外利用大数据能力。对于军方来说,无定型术语“大数据”是指从信号情报、手机和电子战截获到卫星图像到视频图像的一切数据。这意味着军方正淹没在数据中,而且这个趋势短时间内不太可能被改善。例如,根据最近的一项外交关系委员会报告,军火库无人飞机的数量,在过去的十年里,从2001年9月的仅仅50架激增到2012年4月的7500架。

美国国防高级研究计划局代理局长凯格汉姆?加布里埃尔,在宣布XDATA项目时说:“大量的信息生成了一个杂乱背景。”作为奥巴马政府大数据研究和发展倡议中推出的 XDATA项目将在四年里耗费2500万美元来开发计算技术和防护数据软件。据白宫透露,面临的核心挑战是为不完善的数据处理开发可扩展算法并且创建有效的人机交互工具。

加布里埃尔说:“大西洋约3.5亿立方公里的体积,或者近1000亿,数十亿加仑的水。如果每加仑的水代表一个字节或字符,在2010年大西洋几乎可以存储世界生成的所有的数据。”

加布里埃尔补充道:“在文件中寻找一个特定信息或者页面相当于在大西洋里搜索一个仅55加仑的桶。”然而,大数据的应用在增长的军事需要和减少的预算之间越来越需要找到一个平衡。

国防部面临大幅度削减,进入了国防部长查克?哈格尔所形容的“前所未有的预算不确定性”阶段。全面的削减将体现在人员和项目账户上,包括减少情报分析以及作战司令部情报和作战中心的生产。7月下旬,哈格尔说,美国国防部的战略选择管理审查旨在“建立更紧密的集成,减少国防企业内的重复”。

寻找“为什么”

传感器的扩散帮助推动大数据过剩。Exelis公司地理空间情报解决方案的副总裁理查德?库克承认道:“我们已经为我们的许多客户处理的一些数据过剩做出巨大的努力。”

库克说,“这是所有相关的重要数据。这样的问题,我们已经碰到过太多了。”

他补充说,问题是数据的种类和数量。“他们(美国国防部)只是没有足够的人利用现有的所有信息。”作为回应,注意力从数据管理转移到尽可能多的有效提取有用信息。

库克说:“我们有系统可以处理和管理这些数据。”下一个挑战是创建软件工具来分析和开发数据,这样军事用户可以利用来为任务规划和情报收集提取相关信息。他解释说:“我们已经很擅长制作可以分析数据以及告诉你事件、地点、时间的工具。现在,行业正关注‘为什么’以及前瞻性方面问题。”

国家安全局效应

未来,有一些军方官员想从美国情报局的电脑里拿出一页,包括国家安全机构最近暴露的电子监视数据采集项目——棱镜。该机构中心项目是海量收集看似无关的和经常性非结构化的数据。

库克说:“如果你把隐私问题从制度中拿出来,然后至少你看起来是人们所说的国家安全局实际上在做什么,这绝对是模范,是情报系统全体以及军方用户全体真的需要努力的方向。它能提出看各种数据源种类以及寻找不是很明显的隐藏关联的技术。”

然而,情报分析人员面临的挑战不同于无人机视频流或者手机信号模式,开源数据并不遵循可预测的模式。库克说:“模式就在那里,但是它们分层深度大大超过我们传统数据源。它的技术包括可以挖掘额外层以及找出这些通信模式。”

Exelis的方法着重于啮合传统情报收集技术,像信号情报通过新兴大数据源得到更清晰的图片来了解战场上以及远方发生了什么。

库克辩论道,至少在媒体报道中披露,国家安全局技术也可以应用于帮助情报收集过程自动化同时减少人力以获得最相关信息。

库克说:“如果我们能够帮助指挥官将几个小时的视频会降至最关键的30秒的视频,这就是一个巨大的胜利。”

观察员强调,各军种急于应用这些新的大数据技术但是缺乏资源来这样做。库克说:“他们承认他们漏掉了数据中微妙的关联,这些数据能暗示他们需要知道并且现在还不知道。”

容易实现的目标

数据更深层次的挖掘不仅仅在战争中发挥作用。易安信公司的首席联邦技术专家,里奇?坎贝尔说,如后勤这样更平常的军事任务也可以受益于应用大数据技术。坎贝尔说,战争是图片中的迷人部分,但是“接下来是带来大多数变化和积蓄的业务部分”。后勤部分是“最容易摘到的水果”。

例如,战场中的无线射频识别标记开始工作,其存货时需要扫描以及验证。在此过程中,有个小(10%到12%)概率会使无线射频识别标记将需要重新核对。坎贝尔解释道,当一些几位数中缺少一个序列号时,预测能力能帮助利用大数据分析。新功能帮助避免重新扫描整个设备装载,找出并纠正错误的需要。

坎贝尔说:“这样的事情,分析可以起到帮助作用。

商业企业也带来了灵感,通过和像联邦快递和沃尔玛这样的公司分享大数据战略旨在提高效率。坎贝尔说:“军事实际上是利用商业企业空间来真正地了解他们是怎样做的以及他们为什么这么做。”

他补充说:“今天,我们国防部很多用户着眼于大数据和作为这个大规模复杂问题的分析挑战。老实说,很多时候他们已经有数据。它只是如何真正完善它以及从中得到些什么。”

从坎贝尔到其他服务提供者的信息是应用大数据技术需要不复杂。“有很多方法在更简单的方式中利用它。”坎贝尔辩解道,“这不是可怕的东西。”


原文发布时间为:2013-10-04


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
监控 安全 大数据
美国国防部的大数据安全战略
棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。   NSA为代表的美国国家安全和情报机构不但在信息安全技术上领先业界数年,而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。
1585 0
|
2月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
76 4
|
2月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
168 3
|
2月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
3月前
|
数据采集 人工智能 算法
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
92 1
|
4月前
|
存储 机器学习/深度学习 人工智能
数据与生命的对话:当大数据遇上生物信息学
数据与生命的对话:当大数据遇上生物信息学
158 17
|
4月前
|
机器学习/深度学习 存储 分布式计算
数据科学 vs. 大数据:一场“烧脑”但有温度的较量
数据科学 vs. 大数据:一场“烧脑”但有温度的较量
198 2
|
4月前
|
存储 SQL 分布式计算
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
213 19
|
5月前
|
数据采集 机器学习/深度学习 算法
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
206 4
|
2月前
|
SQL 人工智能 分布式计算
在数据浪潮中前行:我与ODPS的实践、思考与展望
在数据驱动决策的时代,企业如何高效处理海量数据成为数字化转型关键。本文结合作者实践,深入解析阿里云自研大数据平台 ODPS 的技术优势与应用场景,涵盖 MaxCompute、DataWorks、Hologres 等核心产品,分享从数据治理到实时分析的落地经验,并展望其在 AI 与向量数据时代的发展前景。
186 70

热门文章

最新文章