Cityscapes数据集(智能驾驶场景的语义分割)

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 面向智能驾驶(辅助驾驶、自动驾驶)场景下的语义分割任务,由于非结构化场景的复杂性,是一个非常具有挑战性的任务,所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。本文主要介绍Cityscapes数据集。

 一、简介

Cityscapes 数据集上专门针对城市街道场景的数据集,整个数据集由 50 个不同 城市的街景组成,数据集包括了 5000 张精准标注的图片和 20000 张粗略标注的图片。

其中精准标注的图片主要用于强监督学习,可分为训练集、验证集和测试集,而粗略标 注的图片主要用于弱监督语义分割算法的训练与测试。在 Cityscapes 数据集中通常使用 19 种常用的类别用于类别分割精度的评估。

官网地址:Cityscapes Dataset – Semantic Understanding of Urban Street Scenes


二、5000张精准标注

示例1:

image.gif


示例2:

image.gif


示例3:

image.gif

详细的示例图片可以去官网看看:Examples – Cityscapes Dataset



三、20000 张粗略标注

示例1:

image.gif


示例2:

image.gif


  详细的示例图片可以去官网看看:Examples – Cityscapes Dataset



四、类别定义

Group Classes
flat road · sidewalk · parking+ · rail track+
human person* · rider*
vehicle car* · truck* · bus* · on rails* · motorcycle* · bicycle* · caravan*+ · trailer*+
construction building · wall · fence · guard rail+ · bridge+ · tunnel+
object pole · pole group+ · traffic sign · traffic light
nature vegetation · terrain
sky sky
void ground+ · dynamic+ · static+



五、模型评估服务

官网提供了一个基准套件和一个评估服务器,这样开发者就可以上传模型结果,并获得关于不同任务(像素级、 实例级和全景语义标记以及3d 车辆检测)的排名。


5.1 像素级语义标注

这个是在不考虑更高级别的对象实例或边界信息的情况下,预测图像的每像素语义标签。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.2 实例级语义标注

这个专注于同时检测对象并对其进行分割。这是对传统对象检测和像素级语义标记(因为每个实例都被视为单独的标签)的扩展。因此,需要算法来提供一组场景中交通参与者的检测,每个检测都与置信度分数和每个实例的分割掩码相关联。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.3 全景语义标注

它将像素级和实例级语义标记结合在一个称为“全景分割”的任务中。截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.4 3D车辆检测

这个重点是车辆的 3D 对象检测,以估计其 3D 参数,如方向和位置。评估类汽车、卡车、公共汽车、火车、摩托车和自行车的对象。每个对象都由一个非模态 2D 边界框以及一个 9 自由度 3D 边界框描述:中心位置、尺寸和方向。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


大家可以看看那个排名靠前的模型,是否有公开论文,或是否代码开源,进行参考学习;当然自己搭建的模型也可以上传评估一下,看看效果和排名。



六、下载数据集

官网下载地址:Login – Cityscapes Dataset 注意:这是要注册一个账号,才能下载的;然后来到如下页面:

image.gif


查找相关的数据集下载就可以了

image.gif


比如下载gtFine_trainvaltest.zip (241MB)[md5] 训练集和验证集的精细注释(3475 个带注释的图像)和测试集(1525 个图像)的虚拟注释。

image.gif


官方的处理脚本地址:https://github.com/mcordts/cityscapesScripts


本文直供大家参考和学习,谢谢。

相关文章
|
存储 数据库
Dataset之ADE20k:ADE20k数据集的简介、安装、使用方法之详细攻略
Dataset之ADE20k:ADE20k数据集的简介、安装、使用方法之详细攻略
Dataset之ADE20k:ADE20k数据集的简介、安装、使用方法之详细攻略
|
机器学习/深度学习 编解码 数据可视化
【即插即用】涨点神器AFF:注意力特征融合(已经开源,附论文和源码链接)
【即插即用】涨点神器AFF:注意力特征融合(已经开源,附论文和源码链接)
5875 1
|
人工智能 计算机视觉
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
|
机器学习/深度学习 传感器 编解码
史上最全 | 基于深度学习的3D分割综述(RGB-D/点云/体素/多目)(上)
3D目标分割是计算机视觉中的一个基本且具有挑战性的问题,在自动驾驶、机器人、增强现实和医学图像分析等领域有着广泛的应用。它受到了计算机视觉、图形和机器学习社区的极大关注。传统上,3D分割是用人工设计的特征和工程方法进行的,这些方法精度较差,也无法推广到大规模数据上。在2D计算机视觉巨大成功的推动下,深度学习技术最近也成为3D分割任务的首选。近年来已涌现出大量相关工作,并且已经在不同的基准数据集上进行了评估。本文全面调研了基于深度学习的3D分割的最新进展,涵盖了150多篇论文。论文总结了最常用的范式,讨论了它们的优缺点,并分析了这些分割方法的对比结果。并在此基础上,提出了未来的研究方向。
史上最全 | 基于深度学习的3D分割综述(RGB-D/点云/体素/多目)(上)
|
12月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(四):nn.MaxPool2d()函数详解
这篇博客文章详细介绍了PyTorch中的nn.MaxPool2d()函数,包括其语法格式、参数解释和具体代码示例,旨在指导读者理解和使用这个二维最大池化函数。
886 0
Pytorch学习笔记(四):nn.MaxPool2d()函数详解
|
机器学习/深度学习 自然语言处理 PyTorch
PyTorch 中的动态图与静态图:理解它们的区别及其应用场景
【8月更文第29天】深度学习框架中的计算图是构建和训练神经网络的基础。PyTorch 支持两种类型的计算图:动态图和静态图。本文旨在阐述这两种计算图的区别、各自的优缺点以及它们在不同场景下的应用。
2900 0
|
8月前
|
机器学习/深度学习
YOLOv11改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6
YOLOv11改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6
1829 4
|
传感器 机器学习/深度学习 编解码
智能驾驶--语义分割 公开数据集 汇总
本文整理了10个质量较好,数据集较大,比较新的,图像语义分割的公开数据集;主要服务于智能驾驶方向(辅助驾驶、自动驾驶等)。
1746 0
|
机器学习/深度学习 测试技术 网络架构
【YOLOv8改进】MSCA: 多尺度卷积注意力 (论文笔记+引入代码).md
SegNeXt是提出的一种新的卷积网络架构,专注于语义分割任务,它证明了卷积注意力在编码上下文信息上优于自注意力机制。该模型通过结合深度卷积、多分支深度卷积和1x1逐点卷积实现高效性能提升。在多个基准测试中,SegNeXt超越了现有最佳方法,如在Pascal VOC 2012上达到90.6%的mIoU,参数量仅为EfficientNet-L2 w/ NAS-FPN的1/10。此外,它在ADE20K数据集上的mIoU平均提高了2.0%,同时保持相同的计算量。YOLOv8中引入了名为MSCAAttention的模块,以利用这种多尺度卷积注意力机制。更多详情和配置可参考相关链接。
|
存储 传感器 编解码
CVPR 2023 最全分割类论文整理:图像/全景/语义/实例分割等【附PDF+代码】
CVPR 2023 最全分割类论文整理:图像/全景/语义/实例分割等【附PDF+代码】
1802 1