三个应用案例——大数据挖掘潜在的威胁

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市,改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」,缓解交通堵塞甚至降低死亡车祸的数量。

大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市,改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」,缓解交通堵塞甚至降低死亡车祸的数量。在欧美,从纽约、旧金山、芝加哥到伦敦、阿姆斯特丹,各种藉由搜集大量数据、发现模式、预测未来的项目不断带领城市前进。其中有从正面改善城市风貌的,也有提前一步,遏止未来可能发生的罪行甚至惨案。今天就让我们来看看三种应用案例:

纽约地铁出现大量神秘 DNA大数据

就算没去过纽约,也应该都听说过拥有百年历史的纽约地铁,又脏又臭又阴暗,但是纽约客以及自世界各地来的旅客又都离不开地铁,每天 550 万人搭乘,想必每一座地铁、每一层阶梯、每一列车厢,到处沾满人类陈年积淀的汗渍与污垢。不过,真实情况可能要你大吃一惊,不是没那么脏,而是比我们想象得更奇幻。

康乃尔大学 Weill 医学院的研究者们,花了 18 个月的时间执行了一项大数据项目。他们用鉴识科学常用的棉花棒,在 486 个纽约地铁站搜集目标样本,车厢门、楼梯扶手、座椅、灯杆、垃圾桶都不放过,最后总共发现 1 万 5 千多种微生物,将近一半的样本是人类未知的有机生物,27% 是活性并俱有抗药性的细菌,虽然所有细菌仅有 12% 与疾病相关,还发现了三个与腺鼠疫、炭疽相关样本,但幸而这些样本都没有活性。而与人类的基因组相匹配的只占了不到 2%。

这项研究的主要作者康乃尔医学院遗传学家 Christopher E. Mason 说:「人们望着地铁上的手扶梯时,从来不会有『这上面充满生命』的念头,但是知道这项研究之后,他们可能会开始这么想。不过我想让他们以看待热带雨林的眼光看待地铁,这里有那么多物种,但并没有影响到你的健康,简直让人敬畏和赞叹。」

关于地铁细菌的研究,不只是有趣,也不只是满足了科学家的好奇心,研究者们将把这些物种分门别类,未来就能把它们当作对照样本,确定某些疾病、甚至也可预测未来若恐怖份子把某些细菌当做生物武器攻击的物质,是否已经扩散。

洛杉矶警察的关键报告大数据

电影《关键报告》中,主角靠着拥有预知犯罪者的系统,在罪行真正发生之前,就先把人逮捕到案。

预测性警务软件「PredPol」当然没有科幻到「人」的地步,但也有达成遏止犯罪率的效果了。该团队花了五年时间,收集过去十年的警方数据,并且运用算法分析,预测下一次可能产生犯罪情况的地点。共同创办人 Jeffrey Brantingham 指出,他们基于三个因素测定发生案件的机率:容易滋养犯罪事件的场所(比如过去对斗殴事件睁一只眼闭一只眼的酒吧)、多次受害地区(repeat victimization,比如曾被闯入的门户容易再次被闯入)、受害地区的邻近地区(曾被闯入的门户周遭区域也容易成为下次被下手的目标),计算出 10-20 个最有可能在警察下一次执勤时发生犯罪的地点。PredPol 宣称,只要警察花 5%-15% 的巡逻时间在划定的红色区域,就能只比依靠自身经验阻止更多犯罪活动。

目前全美共有将近 60 间警局使用 Predpol,每年每间警局必须支付大约 10 万 — 15 万美金的服务费。虽然公部门预算拮据,但投资 PredPol 的第一年,加州 Santa Cruz 闯空门的窃盗案就下降了 11%、抢劫案更减少了 27%。2011 年洛杉矶 Foothill 区开始使用 PredPol,四个月之后犯罪率降低了 13%,其他未未使用 PredPol 的区域微幅多出 0.4%。

洛杉矶警局 Foothill 的警官 Sean Malinowski 说,「我们一直持续使用这套软件,Foothills 也一直都是洛杉矶犯罪率下降最高的区域。我不认为两者之间毫无关联。」

伦敦打击「恶棍交易员」大数据

交易员诈欺导致银行或个人严重损失的新闻时有所闻。过去非法交易只能透过「关键词监测(key word surveillance)」来判断交易员是否涉及渎职,但是 Market Practitioner Panel (MPP)指出,这种方式是有缺陷的。想要揭露失职的交易员,运用大数据技术会是揭露会是更长期而有效的方案。

MPP 建议英国金融机构采取「预测编码(predictive codeing)」的方式,不只能够侦测关键词,还能辨识出交易员非比寻常的行为,像是从非正式的管道如私人信箱、实时通讯、聊天论坛沟通,或者在奇怪的时间离开办公室、强制休假却搞失踪、在组织中所扮演的角色与责任等等。

大数据技术能够非常细微的观测个别交易员的活动,精确建立每位交易员的个人资料与实际操作模式,一有异常就能提前预防,而且能够大规模且实时的分析。除了交易员之外,一般个人当然也得提防。金融诈欺者愈来愈精明、愈来愈猖狂,金融业者势必得施加更大的力道,应用最新的技术,全面整合分析数据,从个人开办帐户开始,就要建立档案并针对交易监控与客户管理保持追踪,检测异常的帐户活动,从而趋吉避凶。

不过,品诚梅森(Pinsent Masons)律师事务所信息保护专家 Kathryn Wynn 提醒,机构需注意别滥用大数据破坏隐私,未审先判。「唯有发现模式(pattern)频繁异常,公司才能进一步做更仔细的监看某位员工的行为与对话。」

摘自:华融大数据

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
算法 数据挖掘
【数据挖掘】岭回归Ridge讲解及实战应用(超详细 附源码)
【数据挖掘】岭回归Ridge讲解及实战应用(超详细 附源码)
192 0
|
5月前
|
算法 数据挖掘 Python
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用(图文解释 超详细)
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用(图文解释 超详细)
376 0
|
5月前
|
数据采集 数据可视化 算法
电商API接口的大数据分析与挖掘技巧
随着电商行业的快速发展,电商平台上的交易数据量也越来越大。如何对这些数据进行分析和挖掘,从中获取有价值的信息,已经成为电商企业和开发者关注的重点。本文将介绍电商API接口的大数据分析与挖掘技巧。
|
3月前
|
存储 监控 数据挖掘
云上大数据分析平台:赋能企业决策,挖掘数据金矿
5.3 场景化 针对不同行业和领域的需求特点,云上大数据分析平台将推出更多场景化的解决方案。这些解决方案将结合行业特点和业务场景进行
81 7
|
3月前
|
机器学习/深度学习 分布式计算 数据挖掘
数据仓库与数据挖掘技术的结合应用
【7月更文挑战第30天】数据仓库与数据挖掘技术的结合应用是现代企业实现高效决策和精准分析的重要手段。通过整合高质量的数据资源,利用先进的数据挖掘技术,企业可以更好地理解市场、客户和业务,从而制定科学的决策和战略。未来,随着技术的不断进步和应用场景的不断拓展,数据仓库与数据挖掘技术的结合应用将会为企业的发展提供更多机遇和挑战。
|
2月前
|
数据采集 自然语言处理 数据可视化
基于python数据挖掘在淘宝评价方面的应用与分析,技术包括kmeans聚类及情感分析、LDA主题分析
本文探讨了基于Python数据挖掘技术在淘宝评价分析中的应用,涵盖了数据采集、清洗、预处理、评论词频分析、情感分析、聚类分析以及LDA主题建模和可视化,旨在揭示淘宝客户评价中的潜在模式和情感倾向,为商家和消费者提供决策支持。
|
2月前
|
SQL 开发框架 大数据
【数据挖掘】顺丰科技2022年秋招大数据挖掘与分析工程师笔试题
顺丰科技2022年秋招大数据挖掘与分析工程师笔试题解析,涵盖了多领域选择题和编程题,包括动态规划、数据库封锁协议、概率论、SQL、排序算法等知识点。
69 0
|
4月前
|
数据采集 机器学习/深度学习 数据可视化
数据挖掘实战:Python在金融数据分析中的应用案例
Python在金融数据分析中扮演关键角色,用于预测市场趋势和风险管理。本文通过案例展示了使用Python库(如pandas、numpy、matplotlib等)进行数据获取、清洗、分析和建立预测模型,例如计算苹果公司(AAPL)股票的简单移动平均线,以展示基本流程。此示例为更复杂的金融建模奠定了基础。【6月更文挑战第13天】
1051 3
|
5月前
|
算法 数据可视化 数据挖掘
【数据挖掘】密度聚类DBSCAN讲解及实战应用(图文解释 附源码)
【数据挖掘】密度聚类DBSCAN讲解及实战应用(图文解释 附源码)
519 1
|
5月前
|
存储 分布式计算 算法
大数据处理:挖掘价值之道
大数据处理:挖掘价值之道

热门文章

最新文章