CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.LG
1.A Cookbook of Self-Supervised Learning
标题：自监督学习食谱
作者：Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes
文章链接：https://arxiv.org/abs/2304.12210
摘要：
自我监督学习，被称为智能的暗物质，是推进机器学习的一条有前途的途径。然而，就像烹饪一样，训练 SSL 方法是一门精致的艺术，入门门槛很高。虽然许多组件都很熟悉，但成功训练 SSL 方法涉及从借口任务到训练超参数的一系列令人眼花缭乱的选择。我们的目标是通过以食谱的形式奠定基础和最新的 SSL 食谱来降低进入 SSL 研究的门槛。我们希望让好奇的研究人员能够在方法领域中导航，了解各种旋钮的作用，并获得探索 SSL 的美妙之处所需的专业知识。
2.Scaling Transformer to 1M tokens and beyond with RMT
标题：使用 RMT 将 Transformer 扩展到 1M 代币甚至更多
作者：Aydar Bulatov, Yuri Kuratov, Mikhail S. Burtsev
文章链接：https://arxiv.org/abs/2304.11062
摘要：
这份技术报告介绍了循环记忆在扩展 BERT 的上下文长度方面的应用，BERT 是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用 Recurrent Memory Transformer 架构，我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记，同时保持了较高的记忆检索准确性。我们的方法允许存储和处理局部和全局信息，并通过使用递归使信息在输入序列的片段之间流动。我们的实验证明了我们方法的有效性，它在增强自然语言理解和生成任务中的长期依赖处理以及为内存密集型应用程序实现大规模上下文处理方面具有巨大潜力。
Subjects: cs.CV
3.Pointersect: Neural Rendering with Cloud-Ray Intersection(CVPR 2023)
标题：Pointersect：使用云射线相交的神经渲染
作者：Jen-Hao Rick Chang, Wei-Yu Chen, Anurag Ranjan, Kwang Moo Yi, Oncel Tuzel
文章链接：https://arxiv.org/abs/2304.12390
项目代码：https://machinelearning.apple.com/research/pointersect
摘要：
我们提出了一种将点云渲染为表面的新方法。所提出的方法是可区分的，不需要特定场景的优化。这种独特的功能支持开箱即用的表面法线估计、渲染房间尺度点云、逆向渲染和全局照明光线追踪。与专注于将点云转换为其他表示（例如曲面或隐式函数）的现有工作不同，我们的关键思想是直接推断光线与给定点云表示的底层表面的交点。具体来说，我们训练一组变换器，给定沿光线的少量局部相邻点，提供交点、表面法线和材料混合权重，用于渲染该光线的结果。将问题定位到小社区使我们能够训练一个只有 48 个网格的模型并将其应用于看不见的点云。我们的模型在三个测试集上实现了比最先进的表面重建和点云渲染方法更高的估计精度。当应用于房间规模的点云时，无需任何特定于场景的优化，该模型通过最先进的新颖视图渲染方法实现了具有竞争力的质量。此外，我们展示了渲染和操纵激光雷达扫描点云的能力，例如照明控制和对象插入。
