【干货】刘伦:大数据时代的城市模型研究

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

嘉宾介绍:

刘伦:剑桥大学土地经济系博士研究生,清华大学建筑学院,城乡规划学硕士,清华大学建筑学院,建筑学学士,北京大学国家发展研究院,经济学学士(双学位)。研究方向:定量城市研究,城市模型,英国城乡规划等。


讲座全文:

刘伦:非常高兴来这里和大家交流,我交流的题目是数据时代的城市模型研究,来自于麦克·巴蒂访谈的启示。


城市模型发展的初级阶段。城市模型发展的历程已经有半个世纪之长,上世纪五十年代出现了一些比较经典的模型,同心圆模型、扇形模型、中心理论等等。


九十年代,随着计算机技术和地理信息技术的发展,城市模型出现了一些新的发展,右边这个图形是我参与开发的徐州市沛县城市空间演变的元胞模型。




这些年大数据的出现在国内国外引发了又一轮城市定量模型的研究,在这一轮城市模型研究中怎么样吸取过去的经验与教训?城市模型的发展方向是什么,在大数据时代,城市模型研究将具有哪些特征?



麦克·巴蒂是目前全世界城市模型研究领域最权威的几个专家之一,是英国UCL大学的教授,他研究的理论是基于复杂科学的建模和城市定量研究。他的理论著作包括城市模拟、城市复杂性等等。


在我访问他不久之前,他的新书《城市新科学》刚刚出版,这也是产生了很大影响的里程碑意义的著作。在这本书里面,麦克·巴蒂提出了城市新科学的思想。他认为这本书更准确的一个说法是不止存在一种关于城市的新科学,而是存在多种新科学。


他提出的是他认为的城市新科学。


新科学和老科学之间是什么区别,主要是这样几个方面:


一,新城市科学是基于复杂性理论,老的是基于城市经济学、社会学、地理学理论。


二,新城市科学是演进的老的示教,新的是演进的动态的视角。他们之间更加简单直接的区别是新的城市科学更多应用了新技术和新工具。




下面是我们这次访谈的内容,这个内容既包括了麦克·巴蒂在访谈时提出的一些观点,也包括了我和合作者进行的总结和延伸。我们的访谈主要涉及了大数据时代城市模型研究的几个问题:


第一,如何评价城市研究目前的状况。


总体上讲,目前的城市模型是以动态模型为主,可以按照他的基础理论分为三个类别,但是也有很多模型是不能完全归类的模型,他们往往是上面这三类模型的糅合,是更加问题导向型的、更加一次性的,这也是麦克·巴蒂认为未来城市模型发展的主要方向。


城市模型的发展有从早期上而下到自下而上的趋势,也是从静态到动态的发展趋势,以交通出行为例子,最早出现的也是目前最广泛使用的交通模型,他们的建模是以一个交通小区移动为单位,根据交通区域的人口和经济数量判断小区人口的可能出行量。但是交通量不是凭空产生的。


家庭内部之间的互动也被纳入了交通模型的建模内容范畴里。


从整体上看,就可以看到交通模型出现了一个明显的自上而下的以区块为单位的,到自下而上的以个体、家庭为单位的建模思想的转变方式。


精细化是城市模型发展的主要方向,城市模型并不等于复杂化,并不等于增加模型的内容,因为我们做模型的本身是对现实世界的抽象和简化,所以模型的本质是追求简化、简单的。


城市模型在过去的发展中主要遭遇了哪些挑战?


麦克·巴蒂认为,最主要的一个挑战是不确定性问题,这也是和我们城市规划领域谈到的以人为本的概念相关。


在上一轮的城市模型发展热潮里面,可以看到在城市发展中对政策制订最关键的领域也最难以建模,比如说住房问题、交通问题、城市更新问题等等。


深层次的原因在于当时的理论对于不确定性研究不足。现在经过了三十年的发展,城市理论有了更多的内容,但是不确定性问题仍然是城市研究中的难题。甚至有句话说:未来唯一确定的事情就是它存在不确定性。



在当前的技术背景下,城市模型有哪些发展趋势?


第一,宏观模型和微观模型的结合。上面提到,模型整体上有一个从宏观模型到微观模型的演化趋势。


这两种类型的模型也可以在建模方法中结合,从宏观上得到一个总量的大尺度的控制,由微观模型更加精细化的分配,从而使模型兼具宏观和微观的特征,提高模型的处理能力。




第二,进入为特定问题建立专用模型的阶段。经过了十几年的发展,我们有了一定规模的数据库进行选取我们所需要的工具。这个例子是我所在的剑桥大学跨学科空间分析实验室做的多主体模型。




第三,需要应对快速提高的城市复杂性。


在这个问题上大数据的出现可以为解决这个问题提供更多的数据基础,同时,和大数据相关的信息技术也可以提供更多在城市系统里面进行小范围实验的机会。


这样一个在城市系统里进行实验在以前几乎是不可能的,但是因为现在我们有很多随身携带的智能设备,手机应用的出现,这样一个实验方式成为了一种可能性。


UCL正在通过伦敦的地铁运行情况的实时手机应用,能够实时通知伦敦地铁的延误者是关闭的情况,这个在北京比较少,但是在伦敦是经常发生,每天都可能有地铁的延误者是关闭。


通过这个手机应用他们可以获得人们在面对交通系统临时变化时候的反应。从而可以将这种反应输入到模型中,对模型的结果进行一个检验和校准,这也有助于提高模型应对城市中人们复杂移动的能力。




第四,尝试对一个问题从不同角度构建多种模型,从而应对不确定性问题。


对多个模型之间的模拟结果进行一个比较,这样一个建模思路来自于宏观经济学领域,宏观经济学上对于重大模型往往是要对同一个问题建多个模型,提供给决策者由他来进行决策。


建造多个模型的方式也是目前模型方法中应对不确定性一个比较可行的思路。现在我们很多在座的学者都有参与制作这些大数据的搜集和可视化的工作,我们已经可以搜集到多种类型的大数据,大数据的丰富性也可以从不同角度构建多个模型提供数据支持。让这种建模方式提高他的可行性。



大数据时代的城市模型研究还有哪些特殊的特征?


首先是多个领域学者的共同关注,现在不只是来自于城市规划领域、来自于地理、计算机领域的学者都在积极的将大数据的技术应用于城市研究,这是城市数据派网站做的中国城市规划与大数据研究人群画像。


在这个画像中可以看到来自于计算机、地理领域、城市规划领域出现了三分天下的局面。第二的特征是基于大数据的研究趋于片段化,很少有面面俱到的、综合的针对城市系统的分析,这和大数据的特性是非常相关的。


因为大数据是数量大、来源广,但是它的维度往往少于传统的调研数据。在一条微博数据的背后,我们很难知道发微博的人的社会经济的属性。


第三,大数据的算法趋于简单化,通过对大量数据的简单处理,也许通过可视化就可以获得很多有用的信息,甚至有观点声称,数据就是模型。


第四,更加侧重于对城市的现状评价,而非对于未来的预测,因为越是精细化的模型针对的具体特定问题,在发展的过程中会遇到更多的不确定性,越不适合对人群进行判断。


这个特征一部分的原因在于我们目前搜集到的大数据更多是截面性的、某一个时间节点的数据。随着五年、十年的积累,可以通过这些数据获得更长时间段内同时发展的更多信息。这样一个功能也可能在我们以后长时间的研究中发生变化。




下面举一个我们正在研究的简单的例子,虽然这个研究既不是一个城市模型,也不是严格意义上的大数据,但是可以体现出应用海量数据进行处理的情况。这个图上的每一个区块是交通分析小区,每一个线代表从一个小区到另外一个小区的出行联系,线越多代表出行的次数越多。


通过简单的人群出行交通数据的可视化,我们可以大致的看出北京各个交通小区之间的联系,通过解读进一步判断整个北京的城市功能布局的合理性,也可以进一步细化看到二十四小时的情况。


大数据为我们提供了一个给复杂城市系统拍一张X光片的可能性,通过拍这个X光片,我们可以获得在没有这些数据的情况下不能获得的信息,从而让规划司在对城市问题进行诊断、治疗的时候能够获得更加准确的把握。


城市模型的角色,无论它的技术怎么样发展,数据来源怎样的丰富,它始终是手段,不能目的。它的根本目的还是为了解决城市中存在的问题。


我们对于模型的希望更应该是一个情景分析的工具,用它来评价不同的发展方向造成的发展结果,而不是指望它能够得出一个准确的正确的确定无疑的预测结果。


我们规划师思维在听到模型这个词的时候,往往认为它是给你一个预测结果,让你按照结果做方案,更理想的模型是能够融入到规划者的工作中,激发规划师的思维,提供一个要素。我们规划中的价值判断、利益协商是不能被替代的,仍然是需要我们每一个人之间的交流去完成。


原文发布时间为:2017-03-07

本文来自云栖社区合作伙伴“数据派THU”,了解相关信息可以关注“数据派THU”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
45 4
|
2月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
109 0
|
1月前
|
安全 搜索推荐 大数据
大数据与智慧城市:数据驱动的城市管理
【10月更文挑战第31天】在信息技术飞速发展的今天,大数据成为推动智慧城市转型的核心驱动力。本文探讨了大数据在智慧交通、环保、安防、医疗和政务等领域的应用,揭示了数据驱动的城市管理带来的深刻变革,同时分析了面临的数据安全、隐私保护和数据孤岛等挑战,并展望了大数据在智慧城市建设中的未来前景。
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
6月前
|
分布式计算 数据可视化 大数据
于SpringBoot+大数据城市景观画像可视化设计和实现
于SpringBoot+大数据城市景观画像可视化设计和实现
ly~
|
2月前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
206 2
|
3月前
|
人工智能 分布式计算 大数据
超级计算与大数据:推动科学研究的发展
【9月更文挑战第30天】在信息时代,超级计算和大数据技术正成为推动科学研究的关键力量。超级计算凭借强大的计算能力,在尖端科研、国防军工等领域发挥重要作用;大数据技术则提供高效的数据处理工具,促进跨学科合作与创新。两者融合不仅提升了数据处理效率,还推动了人工智能、生物科学等领域的快速发展。未来,随着技术进步和跨学科合作的加深,超级计算与大数据将在科学研究中扮演更加重要的角色。
|
4月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
234 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
4月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的题目——北京移动用户体验影响因素研究,提供了问题一的建模方案、代码实现以及相关性分析,并对问题二的建模方案进行了阐述。
99 0
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
|
4月前
|
机器学习/深度学习 自然语言处理 数据可视化
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析
本文探讨了基于Python大数据技术对京东产品评论进行情感分析的研究,涵盖了文本预处理、情感分类、主题建模等步骤,并运用了snwonlp情感分析和LDA主题分析方法,旨在帮助电商企业和消费者做出更明智的决策。
171 1
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析