CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Unleashing Text-to-Image Diffusion Models for Visual Perception
标题：释放用于视觉感知的文本到图像扩散模型
作者：Wenliang Zhao, Yongming Rao, Zuyan Liu, Benlin Liu, Jie Zhou, Jiwen Lu
文章链接：https://arxiv.org/abs/2302.02814
项目代码：https://github.com/wl-zhao/VPD
摘要：
扩散模型（DM）已成为生成模型的新趋势，并展示了强大的条件合成能力。其中，在大规模图像文本对上预训练的文本到图像扩散模型可通过可定制的提示高度控制。与专注于低级属性和细节的无条件生成模型不同，由于视觉语言预训练，文本到图像扩散模型包含更多高级知识。在本文中，我们提出了 VPD（具有预训练扩散模型的视觉感知），这是一种在视觉感知任务中利用预训练文本到图像扩散模型的语义信息的新框架。我们没有在基于扩散的管道中使用预训练的去噪自动编码器，而是简单地将其用作主干，旨在研究如何充分利用所学知识。具体来说，我们使用适当的文本输入提示去噪解码器，并使用适配器改进文本特征，从而更好地与预训练阶段对齐，并使视觉内容与文本提示交互。我们还建议利用视觉特征和文本特征之间的交叉注意力图来提供明确的指导。与其他预训练方法相比，我们表明视觉语言预训练扩散模型可以使用所提出的 VPD 更快地适应下游视觉感知任务。对语义分割、参考图像分割和深度估计的大量实验证明了我们方法的有效性。值得注意的是，VPD 在 NYUv2 深度估计上达到 0.254 RMSE，在 RefCOCO-val 参考图像分割上达到 73.3% oIoU，在这两个基准上创造了新记录。
2.MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices
标题：MobileBrick：为移动设备上的 3D 重建搭建乐高积木
作者：Kejie Li, Jia-Wang Bian, Robert Castle, Philip H.S. Torr, Victor Adrian Prisacariu
文章链接：https://arxiv.org/abs/2303.01932
项目代码：http://code.active.vision/MobileBrick/
摘要：
高质量的 3D 地面真实形状对于 3D 对象重建评估至关重要。然而，在现实中很难创建一个对象的复制品，甚至 3D 扫描仪生成的 3D 重建也存在导致评估偏差的伪影。为了解决这个问题，我们引入了一个使用移动设备捕获的新型多视图 RGBD 数据集，其中包括对 153 个具有不同 3D 结构集的对象模型的高精度 3D 地面实况注释。我们通过使用具有已知几何形状的乐高模型作为图像捕获的 3D 结构，在不依赖高端 3D 扫描仪的情况下获得精确的 3D 地面真实形状。在移动设备上捕获的高分辨率 RGB 图像和低分辨率深度图提供的独特数据模式，与精确的 3D 几何注释相结合，为未来研究高保真 3D 重建提供了独特的机会。此外，我们在所提出的数据集上评估了一系列 3D 重建算法。
Subjects: cs.RL
3.Preference Transformer: Modeling Human Preferences using Transformers for RL(ICLR 2023)
标题：Preference Transformer：使用 RL Transformers 模拟人类偏好
作者：Changyeon Kim, Jongjin Park, Jinwoo Shin, Honglak Lee, Pieter Abbeel, Kimin Lee
文章链接：https://arxiv.org/abs/2302.01660v2
项目代码：https://sites.google.com/view/preference-transformer
摘要：
基于偏好的强化学习 (RL) 提供了一个框架来使用人类在两种行为之间的偏好来训练代理。然而，基于偏好的强化学习一直难以扩展，因为它需要大量的人类反馈来学习符合人类意图的奖励函数。在本文中，我们介绍了 Preference Transformer，这是一种使用转换器对人类偏好进行建模的神经架构。与假设人类判断基于对决策有同等贡献的马尔可夫奖励的先前方法不同，我们引入了一种基于非马尔可夫奖励加权和的新偏好模型。然后，我们使用堆叠因果和双向自注意层的转换器架构来设计所提出的偏好模型。我们证明 Preference Transformer 可以使用真实的人类偏好来解决各种控制任务，而之前的方法无法奏效。我们还表明，Preference Transformer 可以通过自动捕获人类决策中的时间依赖性来诱导明确指定的奖励并关注轨迹中的关键事件。
