A Survey of Urban Multimodal Learning |城市多模态学习综述

简介: 城市多模态学习旨在利用街景、卫星及文本等异构数据量化城市物理结构与人类主观感知,其核心价值在于弥补宏观遥感无法捕捉街道级细微变化的缺陷。早期研究聚焦于静态快照下的客观指标预测,思路直接但受限于单一模态与时序缺失,难以解释城市动态演变。当多模态大语言模型(MLLMs)引入后,监督微调(SFT)导致的地理偏差与幻觉问题成为主要瓶颈,研究者转向强化学习(RL)与多智能体系统(MAS),用更高的计算复杂度换取推理的鲁棒性与可解释性。各路线在数据标准化、推理架构与训练策略上做出了不同取舍,由此形成当前基准构建、动态推理与模型优化并存的格局。

综述原文见 www.arxivreview.com

导读

城市多模态学习旨在利用街景、卫星及文本等异构数据量化城市物理结构与人类主观感知,其核心价值在于弥补宏观遥感无法捕捉街道级细微变化的缺陷。早期研究聚焦于静态快照下的客观指标预测,思路直接但受限于单一模态与时序缺失,难以解释城市动态演变。当多模态大语言模型(MLLMs)引入后,监督微调(SFT)导致的地理偏差与幻觉问题成为主要瓶颈,研究者转向强化学习(RL)与多智能体系统(MAS),用更高的计算复杂度换取推理的鲁棒性与可解释性。各路线在数据标准化、推理架构与训练策略上做出了不同取舍,由此形成当前基准构建、动态推理与模型优化并存的格局。本综述梳理这条从静态表征到动态智能的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

城市多模态学习的兴起源于精细化城市治理对街道级环境感知的迫切需求。传统卫星影像虽能提供宏观视角,却难以捕捉街道层面的细微变化与人类视觉感知高度对齐的环境特征。街景影像因此成为分析城市内部转型的关键数据源,早期研究主要依赖深度模型进行单一维度的客观指标预测,如土地利用与视觉质量。然而,这些方法普遍面临跨城市泛化能力弱、缺乏对主观人类感知量化解释的瓶颈,无法全面刻画城市系统的复杂性。

问题的形式化可定义为:给定多模态输入 $X = {x{sat}, x{street}, x{poi}, x{text}}$ 与空间位置 $s$,模型需预测区域级属性 $y$(如人口、GDP、安全感)。这一任务包含三个紧密耦合的子问题:多模态空间对齐、长时序动态理解与主观感知映射。子问题间存在强依赖关系,缺乏统一的空间结构化基准导致无法公平评估模型泛化能力,进而阻碍了对地理偏差的有效诊断与校正。多智能体推理与强化学习的引入,依赖于底层多模态数据的高质量对齐与标准化评测协议的建立,构成了领域演进的逻辑链条。

2016 至 2018 年,领域处于奠基阶段。Place Pulse 引入美感、财富、安全感等主观感知维度,通过众包标注建立了城市环境主观评价的早期标准,揭示了客观视觉特征与人类主观感知间的复杂映射。ChangeScore 随后利用深度网络关联视觉变化与社会经济变量,实现了从物理结构变化到社会经济影响的量化。这一时期的核心假设是静态街景影像足以代表城市状态,且客观特征与主观感知存在稳定的映射关系,但受限于静态快照特性,无法进行时序动态分析。

2020 至 2021 年,跨域基准与对比学习成为转折点。UrbanCLIP 通过对比学习将城市图像与文本语义对齐,构建了城市领域的视觉-语言基础模型,增强了零样本理解能力。Street2Vec 将不同时间点的街景图像嵌入潜在空间,通过度量嵌入向量间的距离测量城市物理结构变迁。这些方法弥补了传统遥感宏观视角的不足,但在处理复杂时空推理和主观感知任务时仍存在局限,暴露出单一模态与静态评估的瓶颈。

2023 至 2024 年,多模态大语言模型的突破成为关键转折点。MLLMs 强大的空间推理、视觉-语言对齐及常识推理能力,为整合异构城市数据提供了新范式。UrbanLLaVA 整合街景图像、结构化数据和轨迹信息,实现了在城市任务上的强泛化能力,为后续城市多模态大模型的发展奠定了架构基础。然而,基于监督微调构建的城市基础模型存在严重的地理偏差,导致跨城市泛化能力弱,且易产生看似合理但缺乏地理证据支撑的伪推理路径。

2025 至 2026 年,研究重心进一步从静态快照分析转向长时序动态理解、多智能体协作推理及地理偏差消除。UrbanFeel 与 UrbanWell 等基准的密集发布,解决了现有数据集在时序覆盖和主观感知量化上的缺失。Urban-R1 与 Urban-MAS 等方法的成熟,标志着领域进入“标准化评测+动态推理”的新阶段。当前形态下,核心焦点在于构建统一基准以评估 MLLMs 在时空推理、主观感知及跨城市迁移中的表现,并通过强化学习和多智能体系统解决现有监督微调导致的地理偏见与幻觉问题。

如果用一个核心问题概括该领域,那便是如何在消除系统性地理偏差与幻觉的前提下,构建具备长时序时空推理与因果解释能力的城市通用智能系统,以实现对城市复杂动态演变及人类主观感知的鲁棒量化。

2. 方法体系

  • 2016:Place Pulse——引入主观感知维度,建立城市环境主观评价早期标准

  • 2017:ChangeScore——关联视觉变化与社会经济变量,实现社会经济影响量化

  • 2021:UrbanCLIP——对比学习构建城市视觉-语言基础模型

  • 2024:Street2Vec——嵌入潜在空间测量城市物理结构变迁

  • 2025:UrbanLLaVA——多模态融合提升城市场景理解全面性

  • 2025:Traffic-R1——GRPO 应用于交通信号控制,验证 RL 增强推理

  • 2026:UrbanFeel——长时序街景数据与主观感知维度综合基准

  • 2026:Urban-R1——RL 后训练缓解地理偏差,提升跨地域泛化

这条时间线勾勒了该领域方法演进的代表性节点:从 2016 年的 Place Pulse 奠定该领域方法基线,经 2017 年 ChangeScore 的推进,到 2026 年的 VLM-ZeroShot 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。演进主线清晰展示了从静态客观指标预测,经视觉-语言对齐,最终迈向长时序动态理解与强化学习推理的范式转移。

2.1 城市多模态基准

城市多模态基准路线的起源可追溯至对静态快照评估缺陷的反思。早期数据集如 Place Pulse 虽引入主观感知,但缺乏时序覆盖与空间结构化划分,导致模型性能被高估。2026 年,随着 MLLMs 的普及,建立标准化、长时序且涵盖多模态的评测协议成为迫切需求。UrbanFeel(He et al., 2025, P1)构建了涵盖 15 年以上长时序街景数据及主观感知维度的综合基准,其核心创新在于通过空间连续的数据采集策略,确保城市场景在时间和空间上的连贯性。该基准专门设计了评估安全感、美感等主观感知的任务,弥补了现有基准仅关注客观空间理解的不足,推动了城市基准从静态快照向动态感知理解的范式转变。

UrbanWell(Xi et al., 2026, P9)进一步整合了卫星图像、街景图像以及 19 个地面真值城市福祉指标,覆盖 38 个城市和 2012-2024 年的长时序数据。它定义了单年估计、时序趋势分析和跨城市泛化三种任务范式,通过标准化的提示模板和零样本设置,确保了不同模型在统一协议下的公平比较。UrbanWell 特别关注环境、空间、社会经济和感知指标的多维整合,揭示了模型在量化预测上的不稳定性,为城市智能模型的跨域泛化研究提供了标准化测试床。

CityRep(Liu et al., 2026, P8)则聚焦于评估协议的革新,建立了统一的城市表征评估基准。它通过空间块划分协议缓解随机划分导致的数据泄漏问题,将不同空间支持的异构城市表征对齐到通用的下游任务单元。CityRep 覆盖了 8 个城市和 8 种任务类型,评估表征在回归、分类和分布预测任务上的迁移能力,其核心创新在于确保测试样本与训练样本在空间上分离,从而真实反映模型的泛化能力。Urban-ImageNet(Ou et al., 2026, P7)基于城市空间理论,构建了包含 10 个类别的多模态数据集,利用社交媒体用户生成内容作为揭示偏好数据,解决了现有基准缺乏理论支撑和多任务支持的问题。这些基准共同构成了城市智能模型评测的基础设施,为后续推理架构与训练优化提供了公平的比较平台。

2.2 多智能体城市推理

多智能体城市推理路线的兴起,是对单一 LLM 在处理复杂城市任务时易出现幻觉、领域知识压缩不足及推理链不完整问题的直接回应。Urban-MAS(Lou, 2025, P4)提出了一种基于 LLM 的多智能体系统,包含预测因子引导、可靠城市信息提取和多源推理三个层级。预测因子引导代理利用 DeepResearch 框架生成任务特定的最具影响力因子报告,为后续推理提供结构化知识引导。可靠提取代理通过生成双变体输出并计算混合软相似度,利用冲突修复机制确保提取信息的一致性和可靠性。该方法通过分工协作和迭代验证,解决了单一 LLM 在城市预测中特征选择困难和噪声敏感的问题,以牺牲推理速度为代价,换取了人类中心城市预测的鲁棒性和可解释性。

UrbanAgent(Hao et al., 2026, P10)构建了一个两阶段框架,结合工具增强代理学习与多智能体协作推理。第一阶段通过 SFT 冷启动和 GRPO 强化学习训练模态特定代理,使其能够主动调用外部工具并生成带有置信度估计的证据 grounded 预测。第二阶段通过结构化协作图,利用佐证、修正和监督关系实现多代理间的迭代冲突解决和共识整合。该方法克服了传统深度学习画像方法依赖静态相关性和缺乏推理能力的问题,通过动态工具调用和协作推理提升了在异构数据下的预测可靠性。

MMUEChange(Xiao et al., 2026, P5)开发了一个通用 LLM 代理框架,用于智能多模态城市环境变化分析。该框架通过层级化任务分解,将复杂的变化分析问题拆解为“是什么”、“在哪里”和“为什么”三个子任务,并规划相应的解决方案步骤。它集成了多模态数据和多种分析工具,通过工具调用提取相关信息以克服幻觉问题。MMUEChange 特别强调多尺度分析,将区域治理、社区感知和局部生态动态联系起来,实现了从描述性分析到因果解释的升级。与基准路线相比,多智能体路线更侧重于推理过程的透明性与证据整合,二者在评测与推理层面形成互补。

2.3 城市模型训练优化

城市模型训练优化路线旨在解决监督微调(SFT)导致的地域偏差与多任务需求。Urban-R1(Wang et al., 2025, P3)采用强化学习后训练框架,在城市区域画像代理任务上使用 GRPO 微调多模态策略模型。该方法通过生成多个候选答案并计算结合准确性与输出可解析性的组合奖励,利用组相对优势更新策略,同时施加 KL 散度约束以防止偏离预训练分布。Urban-R1 直接针对 SFT 导致的地域偏差和伪推理路径问题,通过奖励引导的动态推理替代静态令牌预测,使模型能够基于可验证的地理证据进行预测。其核心创新在于将 RL 对齐策略应用于城市基础模型,显著提升了模型在跨地域场景下的地理感知能力和预测公正性,放弃了 SFT 的简单高效,换取了跨地域泛化能力。

UrbanMoE(Liu et al., 2026, P6)提出了一种稀疏多模态混合专家(MoE)框架,用于多任务城市区域画像。该框架通过动态路由机制将多模态特征分配至专用子网络,实现多种城市指标的同时预测。UrbanMoE 解决了单任务预测无法捕捉城市指标间内在关联的问题,通过稀疏激活机制平衡多任务优化目标,在保持计算效率的同时提升了泛化能力。其核心设计在于利用 MoE 架构处理城市数据的内在异质性,并通过多任务学习捕捉指标间的协同效应。与强化学习路线不同,UrbanMoE 侧重于架构层面的多任务平衡,二者在训练策略上形成互补,共同推动了城市基础模型从单点预测向全面画像的架构升级。

2.4 视觉语言城市监测

视觉语言城市监测路线聚焦于 VLM 在零样本城市基础设施监测中的应用。VLM-ZeroShot(Torneiro et al., 2025, P2)系统评估了视觉语言模型在零样本和少样本城市监测中的应用,涵盖 CLIP、BLIP-2 和 Grounding DINO 等模型。该方法利用自然语言提示识别城市基础设施事件,摆脱了传统 CV 系统对固定标签数据集的依赖。研究揭示了 VLM 在跨语言、跨文化城市场景中的泛化能力,以及其在处理新兴事件和未见对象类别时的灵活性。通过系统性综述和评估,该工作指出了 VLM 在城市监测中的优势与局限,如幻觉问题和细粒度定位不足。其技术定位在于为可扩展、动态的城市 AI 监测系统提供技术路径,推动了城市感知从固定类别检测向开放词汇理解的转变。与多智能体路线相比,VLM 监测更侧重于感知层的灵活性,而多智能体更侧重于推理层的深度,二者在系统架构中分别承担感知与决策角色。

2.5 跨任务与多领域应用

城市多模态学习的方法体系正逐步从单一任务向跨任务、多领域应用扩展。UrbanWell 的 19 个福祉指标涵盖了环境、空间、社会经济和感知多个维度,体现了多任务融合的趋势。UrbanMoE 的稀疏 MoE 架构专门针对多任务城市区域画像,通过动态路由平衡不同指标的预测目标。Urban-ImageNet 则支持场景分类、跨模态检索和实例分割等多种任务,展示了数据集层面的多任务支持能力。这些应用表明,城市智能系统正从孤立的指标预测向综合性的城市画像演进,要求模型具备更强的多模态融合与多任务平衡能力。

3. 关键共识、分歧与开放问题

3.1 领域共识

街景影像因其与人类视觉感知的高度对齐,比卫星影像更适合捕捉城市内部细微环境变化及主观感知维度,这一共识在约 10 篇论文中得到共同支持。多模态大语言模型在整合异构城市数据、进行空间推理及视觉-语言对齐方面展现出超越传统深度学习模型的潜力,约 9 篇论文共同支持这一观点。现有基于监督微调的城市模型普遍存在地理偏差,且缺乏对未见空间上下文的适应能力,需要引入强化学习等新范式进行校正,约 6 篇论文共同支持。

与此相关的另一个共识是,缺乏统一、标准化且涵盖多城市、多任务、多模态的基准数据集,是当前阻碍领域公平比较与可复现性的主要瓶颈,约 7 篇论文共同支持。城市评估必须考虑空间依赖性,传统的随机数据划分会导致性能高估,空间块划分是更严谨的评估协议,约 4 篇论文共同支持。多智能体系统通过分工协作与冲突解决机制,能有效缓解单一 LLM 的幻觉问题,提升复杂城市推理任务的鲁棒性与可解释性,约 4 篇论文共同支持。零样本/少样本学习对于应对城市监控中动态变化的事件类别和新兴对象至关重要,是构建灵活城市感知系统的关键能力,约 3 篇论文共同支持。

3.2 观点分歧

消除地理偏差的最优路径存在显著分歧。观点 A 主张通过 RL 对齐,利用奖励函数引导模型生成基于地理证据的推理路径,从根本上纠正 SFT 引入的偏差(Urban-R1, Vision-R1)。观点 B 主张通过大规模对比学习或数据增强,学习地理不变的特征表示,从表征层面减少偏差(UrbanCLIP, RemoteCLIP)。现有证据偏向 RL 对齐,Urban-R1 在 Urban Region Profiling 任务中 Spearman ρ 达到 0.839,显著优于 SFT 基线,且在未见区域表现更稳定。但 RL 方法在主观感知任务中的优势需更多跨文化数据验证,缺乏大规模、地理分布均衡的基准数据集来全面评估不同方法在极端文化差异场景下的表现。

这一分歧的背后,是另一个更根本的争论:城市推理架构的选择。观点 A 主张单一大模型通过端到端学习,推理速度快,适合实时监测和简单任务(GPT-4o, UrbanLLaVA)。观点 B 主张多智能体系统通过分工协作和工具调用,能处理复杂逻辑、整合异构证据并解决冲突,适合离线深度分析和因果解释(Urban-MAS, MMUEChange)。在复杂推理任务上,Urban-MAS(MAE 2.97)显著优于 Single-LLM GPT-5(MAE 4.53),但在简单分类任务上,单一大模型效率更高。缺乏统一的评估协议来量化“推理深度”与“计算成本”的权衡,MAS 的智能体间协调机制尚不成熟,缺乏标准化的评估基准。

3.3 其他开放问题

当前领域面临从“工程实现”向“科学认知”的跨越,最紧迫的工程问题在于多模态数据(传感器、3D、声音)的实时融合与边缘部署计算限制。现状是 VLMs 主要依赖静态图像-文本对,忽视时间序列、深度、地理定位和声音等模态。关键困难在于多模态数据的同步、对齐和融合,以及边缘部署的计算限制。研究路径包括开发传感器融合管道,整合 3D 几何和深度估计,利用视频基础模型处理时间动态,以及优化边缘计算架构。

最根本的研究问题在于长时序时空推理的理论缺失与文化敏感性的量化困难。现状是 MLLMs 在联合空间-时间推理任务中表现不佳,难以捕捉城市环境的动态演变和长期趋势。关键困难在于时间上下文与空间结构的复杂交互,以及多模态数据的时间对齐问题,主观感知的文化依赖性导致不同地区标注标准不一致。研究路径包括开发专门针对城市时空数据的预训练模型,整合卫星、街景和传感器数据的时间序列特征,以及利用强化学习优化时空推理链。已知的是多模态融合与空间结构化评估是必然趋势,争议的是消除地理偏差的最优路径与推理架构的选择,未知的是长时序时空推理的理论基础与文化敏感性的量化标准。

4. 总结与展望

城市多模态学习正通过基准标准化、推理架构智能化和训练范式强化学习化,逐步逼近“城市通用智能”的目标。核心矛盾在于 SFT 导致的地理偏差与幻觉问题,尝试过的路线包括对比学习、多智能体协作与强化学习对齐,核心瓶颈在于缺乏大规模、地理分布均衡的基准数据集与长时序时空推理的理论基础。未来可能突破的方向包括:多模态时空推理能力增强,通过开发专门针对城市时空数据的预训练模型,整合多模态数据的时间序列特征;地理偏差与文化敏感性缓解,通过引入跨文化校准机制,构建地理多样化的基准数据集;多智能体协作与工具增强推理,通过设计层级化智能体架构,开发工具增强的推理框架。对于进入者而言,最值得做的一件事是构建一个跨文化、地理分布均衡的长时序基准数据集,以全面评估不同方法在极端文化差异场景下的表现,为消除地理偏差提供标准化的测试床。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9110 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2699 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1287 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11128 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
944 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1319 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。