最近，李飞飞教授领导的空间智能实验室（SVL）在计算机视觉领域取得了一项重要进展。由吴佳俊教授领导的团队开发了一个新的工具套件，称为BEHAVIOR Vision Suite（BVS），用于生成完全定制化的合成数据，以系统地评估计算机视觉模型。这项工作最近在一篇名为《BEHAVIOR Vision Suite：通过模拟实现可定制的数据集生成》的论文中进行了详细介绍。
BVS旨在解决当前计算机视觉模型在各种条件下进行系统评估和理解时面临的挑战。尽管现有的合成数据生成器提供了一种有前途的替代方案，特别是对于具身AI任务来说，它们往往在资产和渲染质量、多样性以及物理属性的真实性方面存在不足。为了解决这些问题，BVS引入了一组工具和资产，用于生成完全定制化的合成数据，以满足系统评估计算机视觉模型的需求。
BVS支持在场景级别（如照明、对象放置）、对象级别（如关节配置、属性，如“填充”和“折叠”）和相机级别（如视场、焦距）上进行大量可调整的参数。研究人员可以在数据生成期间任意更改这些参数，以进行受控的实验。BVS还提供了一个大型的3D对象库，包含8000多个对象模型和1000个场景实例，涵盖了广泛的室内场景和对象类型。
BVS的一个关键优势是其灵活性和可扩展性。通过使用BVS，研究人员可以轻松地生成各种场景配置和对象状态的定制数据集，以满足他们特定的需求和目标。这使得BVS成为一种强大的工具，可以用于各种计算机视觉任务的评估和理解，包括对象检测、分割、动作识别和视频理解等。
为了展示BVS的实用性，研究人员进行了三个示例应用场景的实验：系统地评估模型在不同连续域移位下的鲁棒性，评估场景理解模型在相同图像集合上的理解能力，以及训练和评估对象状态和关系预测的模拟到真实世界的迁移。实验结果表明，BVS能够生成高质量的合成数据，用于系统地评估计算机视觉模型的性能，并提供了一种有前途的方法来生成定制数据集以满足各种需求。
然而，BVS也存在一些潜在的局限性。首先，尽管BVS提供了一个大型的3D对象库，但仍然存在一些领域和场景可能没有被充分覆盖的风险。其次，尽管BVS提供了灵活性和可扩展性，但仍然需要一些专业知识和技能来有效地使用和定制BVS。最后，尽管BVS生成的合成数据在许多方面都非常真实，但仍然存在一些潜在的域适应挑战，将模拟数据迁移到真实世界的应用中。
