美国联邦机构利用大数据的五个例子

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

美国教育部教育技术办公室表示:“大数据分析能够发现学习在线课程的学生是否走入误区,并帮助他们调整方向。这些先进分析还有可能根据按键点击模式判断学生是否对当前课程感到无聊,然后重新获取他们的注意力。

波士顿马拉松爆炸案的侦办就是很好的例子。大数据技术让警方得以快速分析48万多幅图像。这些图像即为非结构化数据。对嫌疑犯的详细描述使分析人员可以撰写代码和算法,对图像进行迅速分析,寻找异常情况和特定模式。从传感器信息中自动筛查犯罪行为令实时分析得以实现,缩短了决策时间,减少了接触敏感数据的人员或系统数量。

原文翻译:

在采用大数据策略方面,虽然私营部门发挥了模范带头作用,但公共部门也做出了不少成绩。本文列举了美国联邦机构和地方政府机构制定和运用大数据策略的几个例子,涵盖欺诈检测、金融市场分析、健康研究、政府监督、教育、犯罪学、环保和能源勘探等领域。

引言

本文是一组系列博客的第四篇文章。这组文章探讨的是政府在实施大数据策略时所面临的若干问题。第一篇文章解释了数据的“大”为什么应该按照复杂性而不仅仅是体量来定义。第二篇和第三篇文章讲述了大数据策略为公共机构摆出的四个挑战。

以下是美国联邦机构和非联邦机构积极制定和运用大数据策略的几个例子。希望这些例子能启发大家利用自己手中的新一代分析工具探索各种可能性。

例 1 :大数据技术如何助力欺诈检测和金融市场分析

· 美国社会保障局 (SSA)利用大数据策略来分析大量的非结构化 伤残索赔 数据。SSA现在能够更快、更高效地处理医学分类和预期诊断,重塑整个决策过程,更好地识别可疑的不实索赔。

· 美国联邦住房管理局 (FHA)在利用大数据分析来管理正向现金流基金方面拥有23年的经验。在房地产泡沫破裂期间,FHA是唯一一家不需要救助的次贷保险机构。他们运用大数据分析来帮助 预测违约率 、偿还率和索赔率。另外,他们还利用大数据技术为可能出现的场景构建现金流模型,以确定维持正向现金流所需的保费。

· 美国证券交易委员会 (SEC)运用大数据策略来监督金融市场活动。他们利用自然语言处理程序和网络分析来帮助 识别违规交易活动 。

例 2 :大数据技术如何助力健康相关研究

· 美国食品药物管理局 (FDA)在全国各地的很多测试相关实验室里都部署了大数据技术,以便研究 食源性疾病的模式 。这套数据库属于该机构的技术转让项目,能让FDA更快地对进入食品供应的受污染产品作出反应,这类产品在美国导致每年有32.5万人因食源性疾病住院治疗,3,000人死亡。

· 美国国立卫生研究院 (NIH)在2012年启动了“从大数据到知识”(BD2K)计划。BD2K是一项不仅限于该院的计划,旨在使 生物医学研究 成为一项数字研究事业,促进新知识的发现和运用,最大程度地提升社会参与度。从生物医学大数据中获取丰富信息的能力,将增进我们对人类健康和疾病的了解。然而,适当工具的匮乏、糟糕的数据可达性和培训的不足妨碍了我们有效地整合研究力量。BD2K将帮助NIH应对这个挑战。

· 美国医学研究所 (IOM)和 卫生及公共服务部 (HHS)在2010年3月召集了一小群来自白宫、联邦机构、学术界、社会部门、公共卫生团体、信息技术公司、大企业和医疗服务系统的领导者,商讨新的 社区健康数据计划 的建立事宜。2010年6月,IOM和HHS举办了“社区健康数据论坛:利用信息的力量来改善健康”。此次公共论坛的目的是进一步推动创新者对社区健康数据的使用,让个人和社区都能为自身的健康做出明智的选择。这些初始会议现在已经发展成为正式的全国性大会HealthDatapalooza,致力于开放健康数据,将企业、初创公司、学者、政府机构和个人联合起来,通过对健康数据的开创性和有效利用,改善患者的健康状况。

例 3 :大数据技术如何助力政府监督和教育

· 通告和评论项目 (Notice andComment project)使公众可以方便快捷地查看400多万份政府文件,包括《联邦公报》(FederalRegister)发表的联邦法规和地方政府发布的通告。该项目利用先进分析和自然语言处理来摄取政府文件, 追踪政策、法律和规章的变化 。用户可以轻而易举地对拟订中的联邦法规进行评论或投票。网站数据每天都会更新,实时显示新的提案和趋势。在提案变成法律之前,用户可以利用网站内部集成的社交媒体和网上的最佳写作技巧来有效地宣扬他们的观点,寻求其他人的支持。

· 美国 教育部 利用大数据挖掘和学习分析来 改善教学 。美国教育部教育技术办公室表示:“大数据分析能够发现学习在线课程的学生是否走入误区,并帮助他们调整方向。这些先进分析还有可能根据按键点击模式判断学生是否对当前课程感到无聊,然后重新获取他们的注意力。由于这些数据是实时收集的,因此很有希望通过多个反馈回路实现持续改善。这些反馈回路的时间跨度不一——对学生来说是立刻思考下一个问题,对老师来说是每天安排第二天的教学,对校长来说是每月评估进展,对地方官员来说是每年评估总体的学校教育改善情况。”

例 4 :大数据技术如何助力打击犯罪

· 美国国土安全部 (DHS)是证明公共部门需要大数据策略的好例子。该机构的组织形式突显了在许多政府机构之间进行数据互通和整合的必要性。DHS不仅提供了很多如何进行有效整合的例子,也提供了很多如何更加成功地实现数据互通的经验教训。

· 美国各地的州和地方执法部门在运用大数据策略方面有不少亮点。 波士顿马拉松爆炸案 的侦办就是很好的例子。大数据技术让警方得以快速分析48万多幅图像。这些图像即为非结构化数据。对嫌疑犯的详细描述使分析人员可以撰写代码和算法,对图像进行迅速分析,寻找异常情况和特定模式。从传感器信息中自动筛查犯罪行为令实时分析得以实现,缩短了决策时间,减少了接触敏感数据的人员或系统数量。

例 5 :大数据技术如何助力环保和能源勘探

· 美国国家航空航天局 (NASA)和 美国林务局 (U.S. Forest Service)几年来一直在努力 加强数据互通 和研究合作,让自己可以更准确地预测天气、土壤状况和森林火险。这项努力在数据要求和数据治理的协调方面事先下了很大功夫。除了先进的技术以外,还需要相关人员更好地理解问题和协调可用数据的使用,以制定出一套整体策略。

· 深水地平线 (Deep WaterHorizon)钻井平台漏油事故的应对措施就是依靠大数据互通来阻止原油泄漏,遏制污染物,对损害作出响应。私营部门和公共部门合作,在两周内就完成了数据的整合,使各个工作组可以分析天气、海洋和植物数据。大数据技术被用来预测哪些区域可能受到影响,并帮助确定应该向哪里派遣清理人员。

· 美国国家大气研究中心 (NationalCenter for Atmospheric Research)制定了一套大数据策略,将公用事业单位、大学和能源业的研究和数据整合起来,以便更准确地预报天气和 预测能源的供应与需求 。通过研究天气和大气模型,分析师可以让可再生能源的生产和使用变得更加可靠和高效。他们把数据纳入天气实时分析模型,揭示能源生产和能源需求的重要信息。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
361 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
53 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
90 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
56 3
|
1月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
71 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
25 4
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
60 3
|
1月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
71 2