CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Multimodal Procedural Planning via Dual Text-Image Prompting
标题：通过双文本图像提示进行多模态程序规划
作者：Yujie Lu, Pan Lu, Zhiyu Chen, Wanrong Zhu, Xin Eric Wang, William Yang Wang
文章链接：https://arxiv.org/abs/2305.01795
项目代码：https://github.com/YujieLu10/TIP
摘要：
具身代理在遵循人类指令完成任务方面取得了突出的表现。然而，提供由文本和图像告知的指令以帮助人类完成任务的潜力仍未得到充分探索。为了揭示这种能力，我们提出了多模态程序规划 (MPP) 任务，在该任务中，模型被赋予一个高级目标并生成成对的文本-图像步骤的计划，提供比单模态计划更多的补充和信息指导。MPP 的主要挑战是确保跨模式计划的信息量、时间一致性和准确性。为了解决这个问题，我们提出了文本图像提示 (TIP)，这是一种双模态提示方法，它联合利用大型语言模型 (LLM) 中的零样本推理能力和基于扩散模型的引人注目的文本到图像生成能力。TIP 使用 Text-to-Image Bridge 和 Image-to-Text Bridge 改进了双模态中的交互，允许 LLM 指导基于文本的图像计划生成，并利用图像计划的描述反向地基于文本计划。为了解决缺乏相关数据集的问题，我们收集了 WIKIPLAN 和 RECIPEPLAN 作为 MPP 的测试平台。我们的结果显示了在信息量、时间一致性和计划准确性方面，针对 WIKIPLAN 和 RECIPEPLAN 上的单峰和多峰基线的令人信服的人类偏好和自动评分。我们的代码和数据：这个 https URL 。
2.Generalizing Dataset Distillation via Deep Generative Prior
标题：通过深度生成先验泛化数据集蒸馏
作者：George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. Efros, Jun-Yan Zhu
文章链接：https://arxiv.org/abs/2305.01649
项目代码：https://github.com/GeorgeCazenavette/glad
摘要：
数据集蒸馏旨在将整个数据集的知识提炼成一些合成图像。这个想法是合成少量的合成数据点，当将这些数据点作为训练数据提供给学习算法时，会产生一个近似于在原始数据上训练的模型。尽管该领域最近取得了进展，但现有的数据集蒸馏方法无法推广到新的架构和扩展到高分辨率数据集。为了克服上述问题，我们建议使用从预训练的深度生成模型中学习到的先验知识来合成蒸馏数据。为实现这一目标，我们提出了一种新的优化算法，该算法将大量图像提炼为生成模型潜在空间中的几个中间特征向量。我们的方法增强了现有技术，显着改善了所有设置中的跨架构泛化。
3.DynamicStereo: Consistent Dynamic Depth from Stereo Videos(CVPR 2023)
标题：DynamicStereo：立体视频的一致动态深度
作者：Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Ved
文章链接：https://arxiv.org/abs/2305.02296
项目代码：https://dynamic-stereo.github.io/
摘要：
我们考虑重建从立体相机观察到的动态场景的问题。大多数现有的立体深度方法独立处理不同的立体帧，导致时间上不一致的深度预测。时间一致性对于身临其境的 AR 或 VR 场景尤为重要，在这些场景中，闪烁会大大降低用户体验。我们提出了 DynamicStereo，这是一种基于变换器的新型架构，用于估计立体视频的视差。该网络学习从相邻帧中汇集信息，以提高其预测的时间一致性。我们的架构旨在通过划分的注意力层有效地处理立体视频。我们还介绍了 Dynamic Replica，这是一个新的基准数据集，包含扫描环境中人和动物的合成视频，它为动态立体提供比现有数据集更接近真实应用的补充训练和评估数据。使用此数据集进行训练进一步提高了我们提出的 DynamicStereo 以及先前方法的预测质量。最后，它作为一致立体方法的基准。
