大数据VS大拥堵:大数据治理交通

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本文由英明泰思基金会授权发布,英明泰思基金会由从事数据科学、非营利组织和公共政策研究的中国学者发起成立,致力于通过数据科学改善人类社会和自然环境。

如今交通拥堵随处可见,在公路、空中、铁路交通等发生的一系列拥堵不仅会造成时间的浪费、空气的污染,还会使社会发展付出昂贵的代价。在伦敦、布鲁塞尔,上班族每年至少要浪费50个小时在交通拥堵上,这几乎等同于一周的工作时间。在欧洲,交通拥堵所带来的代价是耗费掉近百分之一的GDP。在美国,仅航班延误这一项就能耗费近60亿美元的经济成本。

而现在对于这种损耗已经有了相应的解决方案。麦肯锡全球研究院在2013年宣布,通过大数据对现有的基础设施的进一步强化管理和维护,每年就节省将近4000亿美元的支出。通过对交通数据的收集和分析挖掘,来对现有交通设施性能进行改善,提高其利用效率。

下文列举了三个成功案例。

以色列实时识别模式系统

以色列在特拉维夫和本古里安机场之间的13号公路上铺设了一条1英里的快车道,这条车道的收费系统是基于车辆的道路通过时间来收费的。它的工作原理是这样的:采用非常高阶的实时识别模式系统,通过统计在此快车道上的车辆数目或者通过计算两车之间的平均距离来评估道路的拥堵程度,从而可以智能选择在该道路系统能够承受的前提下是否该增加“吞吐量”,而其收费方式也相应会智能化,当道路车流密度越高,收费就越高,车流密度越低,则收费越低。这种智能收费系统通过这种方式,在一定程度上降低了道路的拥堵程度。

巴西优化航空路线利用率

巴西航空交通在过去十年里迅速发展,预计在2030年年客运量将至少增加一倍,旅客人次将达到3.1亿以上。而为了解决空中交通拥堵的问题,巴西引进了一种系统,即利用GPS收集的数据来优化对现有的航空路线的利用效率,来缩短飞机航线。它的工作原理是:改变了飞机在空中排队等候降落地面降落的一般性方法,同时为每一架飞机都设计了唯一的路线。听起来似乎很简单,但是系统工作需要收集大量的数据,并对数据进行快速有效的分析,包括对飞机之间的距离,行驶时间,飞机行驶性能等进行综合性评估,以此来保证飞机能够以最短的路线行驶。最早部署这一系统的巴西利亚国际机场的飞机,每一次降落都将节省7.5分钟和77加仑的燃料,相当于减少22海里的飞行距离。巴西计划将该系统部署到该国最繁忙的十个机场,初步估计这一部署在北美机场的举措将会为巴西带来16%到59%的客流量的增长,当然,还需要考虑机场硬件设施等各类条件。

欧洲铁路公司应用大数据提高交通客流量

欧洲铁路基础设施供应商通常要求运营商为他们提供详细的火车行驶路线,然后供应商开发一个尽力满足每一条路线的时间表系统。而这种系统通常难以保证列车性能和客流量的最佳配置。在德国,绝大多数的货运列车不会如期出发,这一情况不可避免地会导致轨道并发症。最近,一些铁路公司开始利用大数据“工业化”的方法来对铁路交通进行优化。基于对过去铁路客流量以及列车性能的需求分析将铁路轨道分裂成适应不同速度的插槽,能够满足不同性能的列车行驶速度和不同客流量的需要。而实现这些优化则需要有先进的规划技术。例如针对列车的延迟出发可以考虑为其变换适应速度较高的铁路轨道插槽,从而弥补列车出发的一个时间差。通过这种创新,不仅提高了铁路行驶的准确性和可靠性,还带来了交通客流量10%的提升。

尽管出现了一些令人鼓舞的将交通基础设施和大数据信息整合的例子,总体看来,这一方向进展还是缓慢。在机场行业相关的聚会上,经常会有很多人热情讨论亟待使用大数据对跟踪乘客的移动设备而收集的信息来做出相应决策,例如在乘客登机时,通过对排队乘客的步行速度分析,在减少安全队列的基础上通过文本消息的提醒方式对乘客定制一些购物建议。尽管如此,能够将想法付诸行动的机场依然寥寥无几。

为什么基础设施供应商在利用大数据这一领域进展如此缓慢?为了加快这一速度,我们可以做些什么?至于经济可行性这一点,无需考虑,因为投资这一技术所能带来的回报将远远大于投资具有类似提升能力的设备。

在与行业从业者的对话过程中,我们确定了利用大数据来提升对基础设施利用效率的三点障碍。

第一,数据缺乏透明度。交通基础设施的参与者网络非常复杂。例如,一个机场的参与者,涵盖了多个航空公司、地面处理公司、零售商、空中交通管制、海关以及机场运营公司本身。每个企业参与者都能够收集各自领域的数据,但是却不愿意共享。从企业角度来看,这个有时确实是有道理的,就好比没有零售商想放弃商店。但是对乘客数据的分析可能会受益于这里面的每一个企业参与者。例如,分析客流量的变化趋势有助于机场各类资源的优化分配。这不仅可以为机场带来更大的客流量,而且还能提高商店的零售收入。然而,前提是数据能够共享。

第二,信息共享的成本和收益的矛盾。例如,航空公司为了缩短旅程航行时间,自然希望乘客进站时间越短越好,而零售商可能更喜欢乘客逗留,以增加商店的收入。机场更倾向于提高资产利用效率,但也有可能为了在突发事件发生后能够快速恢复的灵活性能的提高而降低资产利用效率。因此,需要共同寻找一个合理的解决方案使得每一个企业参与者都能够获得收益,这个并不容易,需要大家一定程度上的实实在在的相互信任。

第三,监管约束不足。基础设施在很多情况下都是属于垄断行业。因此政府这一角色至关重要,不仅要确保政策公平且划算,还要创造一个允许收集和使用数据并且保证数据的机密性和隐私的监管环境。前提是,竞争方和保护数据方以及政府必须相信数字化是有益于后续的事业发展,这一点至关重要。另外,我们还面临一个相当大的挑战,即确保在阐述如何收集数据、如何使用数据、如何通过对数据的分析来使消费者受益的前提下,解决用户的隐私问题。

上述三点障碍相互依存,必须同时解决。没有透明度,就没有办法建立信任,实现公平共享。没有公平共享和明确的公共利益,监管机构不会参与。没有负责的监管机构参与,企业则不愿共享他们的数据。

让所有参与者在基础设施网络中合作并不容易,首先需要有一个合格的领导者。一般来说,政府在基础设施的参与利益很明显,因此一个办法是由国家或者多国政府出面。另外特权持有者也具有一定的优势,例如机场运营商或者铁路公司。也可以是二者的组合,由政府出面设定目标,建立一个数据使用共享的平台,特权持有者设定机构,来进行数据工作的分析。

利用大数据提升基础设施的利用效率这一工作目前才刚刚开始,并且在逐步推进。要想形成这种趋势,一个比较可行的策略是推行一个试点计划,例如在机场或者火车站对采用大数据分析策略结果进行测试,并且记录下最终收益。但也许最重要的是要能够认识到这些信息是提升基础设施的利用效率的潜在助力。


本文作者:Carl-Stefan Neumann 

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
zdl
|
1月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
156 56
|
4月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
274 3
|
10天前
|
机器学习/深度学习 存储 数据采集
解锁DataWorks:一站式大数据治理神器
解锁DataWorks:一站式大数据治理神器
31 1
|
1月前
|
数据采集 分布式计算 大数据
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代,数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能,常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性,通过建立数据质量评估和监控体系,确保数据分析结果的可靠性。企业应设立数据治理委员会,投资相关工具和技术,提升数据治理的效率和效果。
107 2
|
6月前
|
数据采集 监控 大数据
大数据时代的数据质量与数据治理策略
在大数据时代,高质量数据对驱动企业决策和创新至关重要。然而,数据量的爆炸式增长带来了数据质量挑战,如准确性、完整性和时效性问题。本文探讨了数据质量的定义、重要性及评估方法,并提出数据治理策略,包括建立治理体系、数据质量管理流程和生命周期管理。通过使用Apache Nifi等工具进行数据质量监控和问题修复,结合元数据管理和数据集成工具,企业可以提升数据质量,释放数据价值。数据治理需要全员参与和持续优化,以应对数据质量挑战并推动企业发展。
1692 3
|
6月前
|
数据采集 搜索推荐 安全
智慧城市的交通管理大数据模型
智慧城市交通管理系统借助大数据模型,通过全面收集交通数据(如监控、GPS、公共交通信息等),进行数据清洗和预处理,利用Python的Pandas进行数据管理。通过ARIMA等模型分析,预测交通流量、识别交通模式,支持智能信号控制、预测性维护和事件响应。这种集成分析与决策支持系统提升城市交通效率,确保出行安全,预示着未来交通管理的智能化和个性化趋势。【6月更文挑战第23天】
621 10
|
6月前
|
监控 数据可视化 大数据
大数据技术在公共交通系统规划中的应用
大数据技术在公共交通系统规划中的应用
|
7月前
|
存储 数据采集 算法
大数据平台治理——运营的角度看数仓
大数据平台治理——运营的角度看数仓
63 0
|
6月前
|
存储 分布式计算 DataWorks
MaxCompute产品使用问题之dataworks仅支持maxcompute上面的数据治理吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。