Cityscapes数据集(智能驾驶场景的语义分割)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 面向智能驾驶(辅助驾驶、自动驾驶)场景下的语义分割任务,由于非结构化场景的复杂性,是一个非常具有挑战性的任务,所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。本文主要介绍Cityscapes数据集。

 一、简介

Cityscapes 数据集上专门针对城市街道场景的数据集,整个数据集由 50 个不同 城市的街景组成,数据集包括了 5000 张精准标注的图片和 20000 张粗略标注的图片。

其中精准标注的图片主要用于强监督学习,可分为训练集、验证集和测试集,而粗略标 注的图片主要用于弱监督语义分割算法的训练与测试。在 Cityscapes 数据集中通常使用 19 种常用的类别用于类别分割精度的评估。

官网地址:Cityscapes Dataset – Semantic Understanding of Urban Street Scenes


二、5000张精准标注

示例1:

image.gif


示例2:

image.gif


示例3:

image.gif

详细的示例图片可以去官网看看:Examples – Cityscapes Dataset



三、20000 张粗略标注

示例1:

image.gif


示例2:

image.gif


  详细的示例图片可以去官网看看:Examples – Cityscapes Dataset



四、类别定义

Group Classes
flat road · sidewalk · parking+ · rail track+
human person* · rider*
vehicle car* · truck* · bus* · on rails* · motorcycle* · bicycle* · caravan*+ · trailer*+
construction building · wall · fence · guard rail+ · bridge+ · tunnel+
object pole · pole group+ · traffic sign · traffic light
nature vegetation · terrain
sky sky
void ground+ · dynamic+ · static+



五、模型评估服务

官网提供了一个基准套件和一个评估服务器,这样开发者就可以上传模型结果,并获得关于不同任务(像素级、 实例级和全景语义标记以及3d 车辆检测)的排名。


5.1 像素级语义标注

这个是在不考虑更高级别的对象实例或边界信息的情况下,预测图像的每像素语义标签。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.2 实例级语义标注

这个专注于同时检测对象并对其进行分割。这是对传统对象检测和像素级语义标记(因为每个实例都被视为单独的标签)的扩展。因此,需要算法来提供一组场景中交通参与者的检测,每个检测都与置信度分数和每个实例的分割掩码相关联。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.3 全景语义标注

它将像素级和实例级语义标记结合在一个称为“全景分割”的任务中。截至2021/10/24号,前几位的模型效果排名如下。

image.gif


5.4 3D车辆检测

这个重点是车辆的 3D 对象检测,以估计其 3D 参数,如方向和位置。评估类汽车、卡车、公共汽车、火车、摩托车和自行车的对象。每个对象都由一个非模态 2D 边界框以及一个 9 自由度 3D 边界框描述:中心位置、尺寸和方向。

截至2021/10/24号,前几位的模型效果排名如下。

image.gif


大家可以看看那个排名靠前的模型,是否有公开论文,或是否代码开源,进行参考学习;当然自己搭建的模型也可以上传评估一下,看看效果和排名。



六、下载数据集

官网下载地址:Login – Cityscapes Dataset 注意:这是要注册一个账号,才能下载的;然后来到如下页面:

image.gif


查找相关的数据集下载就可以了

image.gif


比如下载gtFine_trainvaltest.zip (241MB)[md5] 训练集和验证集的精细注释(3475 个带注释的图像)和测试集(1525 个图像)的虚拟注释。

image.gif


官方的处理脚本地址:https://github.com/mcordts/cityscapesScripts


本文直供大家参考和学习,谢谢。

相关文章
|
9月前
|
机器学习/深度学习 数据可视化 PyTorch
零基础入门语义分割-地表建筑物识别 Task5 模型训练与验证-学习笔记
零基础入门语义分割-地表建筑物识别 Task5 模型训练与验证-学习笔记
527 2
医学影像分割领域常用数据集
医学影像分割领域常用数据集
469 0
|
7月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型:图像语义分割与对象检测
【7月更文挑战第15天】 使用Python实现深度学习模型:图像语义分割与对象检测
134 2
|
传感器 机器学习/深度学习 编解码
智能驾驶--语义分割 公开数据集 汇总
本文整理了10个质量较好,数据集较大,比较新的,图像语义分割的公开数据集;主要服务于智能驾驶方向(辅助驾驶、自动驾驶等)。
798 0
|
算法
CamVid数据集(智能驾驶场景的语义分割)
CamVid 数据集是由剑桥大学公开发布的城市道路场景的数据集。CamVid全称:The Cambridge-driving Labeled Video Database,它是第一个具有目标类别语义标签的视频集合。 数据集包 括 700 多张精准标注的图片用于强监督学习,可分为训练集、验证集、测试集。同时, 在 CamVid 数据集中通常使用 11 种常用的类别来进行分割精度的评估,分别为:道路 (Road)、交通标志(Symbol)、汽车(Car)、天空(Sky)、行人道(Sidewalk)、电线杆 (Pole)、围墙(Fence)、行人(Pedestrian)、建筑物(Building)
821 0
|
数据库
开源数据集——行人数据
开源数据集——行人数据
3551 0
开源数据集——行人数据
|
机器学习/深度学习 人工智能 自然语言处理
深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
|
JSON 算法 数据格式
优化cv2.findContours()函数提取的目标边界点,使语义分割进行远监督辅助标注
可以看到cv2.findContours()函数可以将目标的所有边界点都进行导出来,但是他的点存在一个问题,太过密集,如果我们想将语义分割的结果重新导出成labelme格式的json文件进行修正时,这就会存在点太密集没有办法进行修改,这里展示一个示例:没有对导出的结果进行修正,在labelme中的效果图。
270 0
|
机器学习/深度学习 人工智能 文字识别
从模式识别到图像文档分析——浅析场景文本识别研究
文本检测领域经历了从水平文字检测到多方向文字检测再到任意形状文字检测这样越来越有挑战性的应用场景转变。 在复杂场景下,由于光照、遮挡等因素的影响,图像中的文本经常会出现模糊、失真、变形等问题;其次,文本与背景之间偶尔存在相似度较高的情况,文字颜色和背景颜色相近或者噪点过多等情况会严重干扰文本的准确识别;此外,在某些场景下(如手写体、印章、二维码等),不同于常规字体的字形特征也会增加识别难度。复杂场景下的文本识别依然是目前难以解决的问题。
|
传感器 机器学习/深度学习 存储
利用BEV辅助的立体匹配,助力3D语义场景补全
利用BEV辅助的立体匹配,助力3D语义场景补全
335 0