2024年2月深度学习的论文推荐

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 我们这篇文章将推荐2月份发布的10篇深度学习的论文

Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping.

https://arxiv.org/abs/2402.14083

Searchformer是一个基于Transformer架构的人工智能模型,经过训练可以模拟A星寻路算法,在复杂的规划任务中实现更高的效率。它在Sokoban谜题中的表现优于A星,解决问题的准确率为93.7%,所需步骤减少26.8%。

这是一个很有意思的研究,对寻路算法感兴趣的可以仔细研究一下

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens.

https://arxiv.org/abs/2402.13753

LongRoPE使用位置插值将上下文窗口从256k扩展到2048k。论文在在不同llm和各种长上下文任务中进行的大量实验强调了LongRoPE的有效性。它在4k到2048k的评估长度范围内保持了较低的困惑度,实现了超过90%的passkey检索精度,并在4096上下文窗口内设计的标准基准测试中提供了相当的精度。LongRoPE可以应用于任何基于RoPE嵌入的llm。

ImplicitDeepfake: Plausible Face-Swapping through Implicit Deepfake Generation using NeRF and Gaussian Splatting.

https://arxiv.org/abs/2402.06390v1

这项工作提出了ImplicitDeepfake1可以产生逼真3D化身,这是一种将Deepfake 技术与Gaussian Splatting和神经辐射场(NeRF )混合在一起的新方法。

Skill Set Optimization: Reinforcing Language Model Behavior via Transferable Skills

https://arxiv.org/pdf/2402.03244.pdf

在RL代理之间转移专业知识已被证明是相当困难的。这项工作优化了一套与环境无关的技术,SSO的其泛化性能非常有前途。

Self-Play Fine-Tuning (SPIN)

https://github.com/uclaml/SPIN

论文提出了一种新的微调方法,称为Self-Play Fine-Tuning(SPIN),它从监督微调模型开始。SPIN的核心是一种自我游戏机制,LLM通过对抗自身实例来完善自己的能力。LLM从之前的迭代中生成训练数据,通过识别这些自生成的响应和从人类注释数据中获得的响应来改进策略。

Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning

https://arxiv.org/abs/2402.06102

“Box o Flows”通过引入一个独特的实验系统,在动态的现实环境中测试强化学习(RL)算法,解决了为强化学习(RL)应用程序复制复杂流体动力学的困难。它展示了无模型强化学习算法如何从简单的奖励中产生复杂的行为,通过离线强化学习提高数据效率,并为在复杂系统中更广泛地使用强化学习打开了大门。

World Model on Million-Length Video and Language with RingAttention

模型使用ring attention和经过微调优化的7B个参数模型。它在检索基准上的表现异常准确,优于商用vlm。

Extreme Video Compression with Pre-trained Diffusion Models

https://arxiv.org/abs/2402.08934v1

使用扩散模型来创建一种新的视频压缩技术,该技术可以在低数据速率下产生高质量的视频帧。

Complete Instances Mining for Weakly Supervised Instance Segmentation.

https://arxiv.org/abs/2402.07633v1

研究人员提出了一种新的图像分割方法,该方法仅使用简单的图像标签来识别图像的特定部分,例如狗。通过弱监督实例分割,不仅提高了效率,降低了错误率,还克服了网络识别同一物体多次出现的困难。

ZLUDA

ZLUDA可以在AMD gpu上运行未经修改的CUDA应用程序,

ZLUDA目前虽然是alpha 阶段,但它已被证实可以与各种原生CUDA应用程序一起工作:Geekbench, 3DF Zephyr, Blender, Reality Capture, LAMMPS, NAMD, waifu2x, OpenFOAM,等等。

https://avoid.overfit.cn/post/b21e16feab8247c1946addcf2dc1aa8f

目录
相关文章
|
3月前
|
机器学习/深度学习 自然语言处理 数据挖掘
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
|
1月前
|
机器学习/深度学习 自然语言处理 前端开发
2024年3月最新的深度学习论文推荐
现在已经是3月中旬了,我们这次推荐一些2月和3月发布的论文。
46 0
|
8月前
|
机器学习/深度学习 自然语言处理 算法
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
事件抽取是从海量文本数据中快速获取事件信息的一项重要研究任务。随着深度学习的快速发展,基于深度学习技术的事件抽取已成为研究热点。文献中提出了许多方法、数据集和评估指标,这增加全面更新调研的需求。
359 0
|
11月前
|
机器学习/深度学习 算法 数据可视化
深度学习论文阅读目标检测篇(一):R-CNN《Rich feature hierarchies for accurate object detection and semantic...》
 过去几年,在经典数据集PASCAL上,物体检测的效果已经达到 一个稳定水平。效果最好的方法是融合了多种低维图像特征和高维上 下文环境的复杂集成系统。在这篇论文里,我们提出了一种简单并且 可扩展的检测算法,可以在VOC2012最好结果的基础上将mAP值提 高30%以上——达到了53.3%。
121 0
深度学习论文阅读目标检测篇(一):R-CNN《Rich feature hierarchies for accurate object detection and semantic...》
|
11月前
|
机器学习/深度学习 自然语言处理
十年来论文量激增,深度学习如何慢慢推开数学推理的门(2)
十年来论文量激增,深度学习如何慢慢推开数学推理的门
|
11月前
|
机器学习/深度学习 消息中间件 人工智能
十年来论文量激增,深度学习如何慢慢推开数学推理的门(1)
十年来论文量激增,深度学习如何慢慢推开数学推理的门
104 0
|
11月前
|
机器学习/深度学习 自然语言处理 算法
深度学习,经典论文盘点!
深度学习,经典论文盘点!
|
11月前
|
机器学习/深度学习 编解码 并行计算
深度学习论文阅读目标检测篇(七)中文版:YOLOv4《Optimal Speed and Accuracy of Object Detection》
大多数基于 CNN 的目标检测器基本上都仅适用于推荐系统。例 如:通过城市摄像头寻找免费停车位,它由精确的慢速模型完成,而 汽车碰撞警报需要由快速、低精度模型完成。改善实时目标检测器的 精度,使其能够不仅可以用于提示生成推荐系统,也可以用于独立的 流程管理和减少人力投入。传统 GPU 使得目标检测可以以实惠的价 格运行。最准确的现代神经网络不是实时运行的,需要大量的训练的 GPU 与大的 mini bacth size。我们通过创建一个 CNN 来解决这样的 问题,在传统的 GPU 上进行实时操作,而对于这些训练只需要一个 传统的 GPU。
190 0
|
11月前
|
机器学习/深度学习 编解码 并行计算
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4《Optimal Speed and Accuracy of Object Detection》
 有大量的技巧可以提高卷积神经网络(CNN)的精度。需要在大 数据集下对这种技巧的组合进行实际测试,并需要对结果进行理论论 证。某些技巧仅在某些模型上使用和专门针对某些问题,或只针对小 规模的数据集;而一些技巧,如批处理归一化、残差连接等,适用于 大多数的模型、任务和数据集。我们假设这种通用的技巧包括加权残 差连接(Weighted-Residual-Connection,WRC)
220 0
|
11月前
|
机器学习/深度学习 固态存储 数据挖掘
深度学习论文阅读目标检测篇(六)中文版:YOLOv3《 An Incremental Improvement》
  有时候,一年内你主要都在玩手机,你知道吗?今年我没有做很 多研究。我在 Twitter 上花了很多时间。研究了一下 GAN。去年我留 下了一点点的精力[12] [1];我设法对 YOLO 进行了一些改进。但是, 实话实说,除了仅仅一些小的改变使得它变得更好之外,没有什么超 级有趣的事情。我也稍微帮助了其他人的一些研究。
106 0