准备工作✨✨✨
在上一节中，我们已经下载了mini数据集，这里依旧可以用到。但不同的是，这节我们还会下载其他的数据（lidarseg 和 panoptic），我们需要让这些数据集存储在特定位置，即让不同数据集之前有一定的文件关系，以便后面成功读取✅✅✅
再次强调，本次实验我们将用到三个数据集，分别是v1.0_mini，lidarseg 和 panoptic。**【注意：v1.0_mini在上节我们已经下载，lidarseg 和 panoptic我们仍然使用其mini版本】**下面先来介绍如何下载lidarseg 和 panoptic数据集，方法很简单，我们去官网直接点击下载即可，下载示意图如下：
为了给大家带来方便，这里也可以在浏览器搜索框输入下面网址直接下载两个数据集：
https://www.nuscenes.org/data/nuScenes-lidarseg-mini-v1.0.tar.bz2 #下载lidarseg-mini数据集 https://www.nuscenes.org/data/nuScenes-panoptic-v1.0-mini.tar.gz #下载panoptic数据集
上文提到，我们应将3个数据集提取到规定的特殊位置，即将刚刚下载压缩文件解压到/data/sets/nuscenes中，你的文件夹结构应该是这样的：
看到这个结构，可能大家还有些许疑惑，这里贴出我文件夹的路径相信大家就一目了然了。【注意：这里还是要提醒一下大家，在下图中的v1.0-mini文件夹中，包括各种.josn格式的文件，其中包括lidarseg.json、panoptic.json、category.json三个文件，这三个文件都是从lidarseg和panoptic数据集中复制过来的】
数据读取✨✨✨
上文已经下载好了数据集，且文件夹路径配置妥当，现在就可以大展身手，让我们一起来玩转Nuscenes叭⚽⚽⚽
导入相关库并加载数据集
这里的dataroot为数据集存放位置【这里我使用的是相对路径，你也可以使用绝对路径】，运行成功后应出现如下的信息：
%matplotlib inline from nuscenes import NuScenes nusc = NuScenes(version='v1.0-mini', dataroot='data\\sets\\nuscenes', verbose=True)
可以从结果中看到，我们已经加载了nuscenes-lidarseg和nuscenes-panoptic，这里和上一节加载数据集结果的不同之处就在这里。
lidarseg和panoptic数据集的点统计
- lidarseg
让我们通过查看lidarseg数据集中有哪些类以及属于每个类的点数来快速了解一下lidarseg数据集。类将根据点的数量按升序排序(因为下面的sort_by='count');你也可以通过设置sort_by='name'或sort_by='index'分别对类名或类索引进行排序。
# nuscenes-lidarseg nusc.list_lidarseg_categories(sort_by='count')
输出结果：
使用list_lidarseg_categories，您可以通过查看最左边的列来获得每个类名所属的索引。你也可以使用lidarseg_idx2name_mapping来获取索引所对应的类名。
nusc.lidarseg_idx2name_mapping
输出结果：
- panoptic
对于nuScenes-panoptic，它与nuScenes-lidarseg共享相同的成员变量lidarseg_idx2name_mapping和lidarseg_names2idx_mapping。类似地，您可以从nuScenes-panoptic数据集检查每个语义类别的点数。唯一要做的就是添加gt_from='panoptic'参数。默认情况下,gt_from = ' lidarseg '。
# nuscenes-panoptic nusc.list_lidarseg_categories(sort_by='count', gt_from='panoptic')
输出结果：
您可能已经注意到某些类别的点数在lidarseg和panoptic数据集之间略有不同。原因是实例之间的重叠点在nuScenes-panoptic中被设置为noise(类别0)，你可以看到noise类别的点数增加了，而总点数保持不变。
panoptic数据集的instance统计
实例统计信息是专属于全景数据集的。为此，我们提供了list_panoptic_instances()函数。你可以将sort_by设置为[‘count’， ‘index’， ‘name’]之一。该函数将计算每帧的实例数，实例总数(唯一的对象ID)和实例状态(一个实例可能有多个状态)。它还计算每个类别的统计数据，包括一个实例跨越的帧数的平均值和标准偏差，以及每个实例的点数的平均值和标准偏差。
nusc.list_panoptic_instances(sort_by='count')
输出结果：
获取lidarseg和panoptic的sample token的统计信息⭐⭐⭐
首先，让我们获取一个sample。
my_sample = nusc.sample[5]
# nuscenes-lidarseg nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count')
输出结果：
类似地，通过添加gt_from='panoptic'，我们可以使用相同的函数来使用panoptic数据集获得类别频率计数。正如在list_lidarseg_categories()中提到的，点计数可能与lidarseg稍有不同，这是因为在nuscens -panoptic中，多个实例的重叠点被设置为noise。
# nuscenes-panoptic nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count', gt_from='panoptic')
输出结果：
渲染lidarseg标签⭐⭐⭐
在最初的nuScenes devkit中，即我们上一节所介绍的数据集中，您可以将一个sample_data_token传递到render_sample_data中，以呈现点云的鸟瞰图。这些点会根据与自我车的距离被着色。现在有了扩展的nuScenes devkit，您所需要做的就是设置show_lidarseg=True来显示pointcloud的类标签。【这里你也可以设置with_anns = Ture，看看和with_anns=False的区别】
sample_data_token = my_sample['data']['LIDAR_TOP'] nusc.render_sample_data(sample_data_token, with_anns=False, show_lidarseg=True)
输出结果：
但如果你只想专注于特定的类别呢?考虑到前面打印的点云统计信息，假设您只对卡车和汽车感兴趣。你可以从统计数据中看到属于这些类的类索引【汽车的索引为17，卡车的索引为23】，然后将这些索引的数组传递到filter_lidarseg_labels中，如下所示:
nusc.render_sample_data(sample_data_token, with_anns=False, show_lidarseg=True, filter_lidarseg_labels=[17, 23])
输出结果：
如上图所示，现在只有属于卡车和拖车的点云中的点被过滤出来，以满足您的观看需求。此外，还可以使用show_lidarseg_legend显示一个图例，该图例指示每个类的颜色。
输出结果：
渲染panoptic标签⭐⭐⭐
与lidarseg类似，也使用相同的函数来呈现panoptic标签（全景标签）。参数的区别是show_panoptic=True。默认情况下，show_lidarseg和show_panoptic都被设置为False。如果两者都设置为True，即show_lidarseg=True, show_panoptic=True, lidarseg将会优先渲染。
sample_data_token = my_sample['data']['LIDAR_TOP'] nusc.render_sample_data(sample_data_token, with_anns=False, show_lidarseg=False, show_panoptic=True)
输出结果：
你可以看到同一类别的不同的车辆实例，会显示不同的颜色。类似地，您可以使用filter_lidarseg_labels和show_lidarseg_legend=True来显示特定事物和物品类别的全景标签，以及类别图例。注意这两个参数在lidarseg和panoptic数据集之间也是共享的。
# show trucks and car nusc.render_sample_data(sample_data_token, with_anns=False, show_panoptic=True, filter_lidarseg_labels=[17, 23])
输出结果：
# show stuff category legends nusc.render_sample_data(sample_data_token, with_anns=False, show_lidarseg=False, show_lidarseg_legend=True, show_panoptic=True)
输出结果：
在图像中渲染lidarseg和panoptic 标签⭐⭐⭐
如果你想要将点云叠加到相机对应的图像中，你可以像使用原始nuScenes devkit一样使用render_pointcloud_in_image，但是要设置show_lidarseg=True(记住要设置render_intensity=False)。与render_sample_data类似，您可以使用filter_lidarseg_labels过滤查看特定的类。您可以使用show_lidarseg_legend在渲染中显示一个图例。
# nuscenes-lidarseg nusc.render_pointcloud_in_image(my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_FRONT', render_intensity=False, show_lidarseg=True, filter_lidarseg_labels=[17, 23, 24], show_lidarseg_legend=True)
输出结果：
同样，这个函数支持show_panoptic=True模式，将显示全景标签而不是语义标签。只显示物品类别的图例。【对语义标签和全景标签不清楚的戳传送门了解详情】
# nuscenes-panoptic nusc.render_pointcloud_in_image(my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_FRONT', render_intensity=False, show_lidarseg=False, filter_lidarseg_labels=[17, 23, 24], show_lidarseg_legend=True, show_panoptic=True)
渲染sample(例如lidar、radar and all camera)⭐⭐⭐
就像在原始的nuScenes devkit中一样，可以使用render_sample一次渲染所有的传感器。在扩展的nuScenes devkit中，你可以设置show_lidarseg=True来查看lidarseg标签。与上面的方法类似，您可以使用filter_lidarseg_labels只显示您希望看到的类。
# nuscenes-lidarseg nusc.render_sample(my_sample['token'], show_lidarseg=True, filter_lidarseg_labels=[17, 23])
输出结果：
要使用render_sample显示panoptic标签，只需设置show_panoptic=True
# nuscenes-panoptic nusc.render_sample(my_sample['token'], show_lidarseg=False, filter_lidarseg_labels=[17, 23], show_panoptic=True)
输出结果：
使用lidarseg/panoptic标签为给定的相机传感器渲染场景
你也可以使用你选择的相机的lidarseg标签来渲染整个场景(filter_lidarseg_labels参数也可以在这里使用)。让我们先选一个场景:
my_scene = nusc.scene[0]
然后我们将scene token传递给render_scene_channel_lidarseg，这里设置了filter_lidarseg_labels=[18, 28]，表示我们只对建筑车辆和人造物体感兴趣(在这里，我们设置verbose=True来生成一个窗口，让我们可以看到随机的帧)。此外，您还可以使用dpi(调整激光雷达点的大小)和imsize(调整渲染图像的大小)来调整渲染的美学效果。
# nuscenes-lidarseg import os nusc.render_scene_channel_lidarseg(my_scene['token'], 'CAM_FRONT', filter_lidarseg_labels=[18, 28], verbose=True, dpi=100, imsize=(1280, 720))
通过添加show_panoptic=True，这个函数也适用于panoptic标签。
# # nuscenes-panoptic import os nusc.render_scene_channel_lidarseg(my_scene['token'], 'CAM_BACK', filter_lidarseg_labels=[18, 24, 28], verbose=True, dpi=100, imsize=(1280, 720), show_panoptic=True)
需要注意的是，这里的输出结果都是视频，这里不好进行展示，大家自己操作时就明白了。当然，我们可以通过out_folder参数传递一个路径到你想要保存视频的文件夹。
# nuscenes-lidarseg nusc.render_scene_channel_lidarseg(my_scene['token'], 'CAM_BACK', filter_lidarseg_labels=[18, 28], verbose=True, dpi=100, imsize=(1280, 720), render_mode='video', out_folder=os.path.expanduser('video_image'))
渲染场景的所有cameras与lidarseg/panoptic标签
你可以用lidarseg标签为所有相机一次性渲染整个场景作为视频。假设在这种情况下，我们对属于driveable surfaces 和 cars【即标签为17、24】的点感兴趣。
# nuscenes-lidarseg import os nusc.render_scene_lidarseg(my_scene['token'], filter_lidarseg_labels=[17, 24], verbose=True, dpi=100, out_path=os.path.expanduser('video_image//my_rendered_scene.avi'))
这和上面的一样都为视频，大家练习时自行观看。
可视化激光雷达分割预测
在以上所有函数中，已经渲染的LiDAR点云的标签都是ground truth。如果您已经训练了一个模型来分割LiDAR点云，并在nuScenes-lidarseg数据集上运行它，您也可以使用nuScenes-lidarseg可视化您的模型的预测!你的每个.bin文件应该是numpy.uint8数组。
import os my_sample = nusc.sample[80] sample_data_token = my_sample['data']['LIDAR_TOP'] my_predictions_bin_file = os.path.join('data\\sets\\nuscenes\\lidarseg\\v1.0-mini', sample_data_token + '_lidarseg.bin') nusc.render_pointcloud_in_image(my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_BACK', render_intensity=False, show_lidarseg=True, filter_lidarseg_labels=[22, 23], show_lidarseg_legend=True, lidarseg_preds_bin_path=my_predictions_bin_file)
输出结果：
可视化激光雷达全景预测
类似地，全景预测结果也可以被渲染!每个.npz文件都应该是一个压缩的 numpy.uint16数组
import os my_sample = nusc.sample[87] sample_data_token = my_sample['data']['LIDAR_TOP'] my_predictions_bin_file = os.path.join('/data/sets/nuscenes/panoptic/v1.0-mini', sample_data_token + '_panoptic.npz') nusc.render_pointcloud_in_image(my_sample['token'], pointsensor_channel='LIDAR_TOP', camera_channel='CAM_BACK', render_intensity=False, show_lidarseg=False, filter_lidarseg_labels=[17,22, 23, 24], show_lidarseg_legend=True, lidarseg_preds_bin_path=my_predictions_bin_file, show_panoptic=True)
输出结果：
总结
最后了，说点什么呢，上面这些东西你看是很难看明白的，自己动手多敲一敲，哪里不明白敲敲代码看看输出的结果，好记性不如烂笔头，加油各位📝📝📝阅读此文章前建议先看看上一节文章：对Nuscenes数据集一无所知，手把手带你玩转Nusences数据集
这部分官方是给了参考的代码的，可以再Google colab上直接运行，这里给出官方的链接：Nuscenes使用教程，但是我想大家还是自己敲一敲会印象更加深刻🀄🀄🀄
