热门论文推荐:TPDiff、Block Diffusion、Reangle-A-Video、GTR

简介: 由新加坡国立大学Show Lab的Lingmin Ran和Mike Zheng Shou提出,TPDiff是一个创新的视频扩散模型框架,针对视频生成的高计算需求问题,通过分阶段逐步提高帧率优化了训练和推理效率。核心贡献包括提出“时间金字塔”方法和阶段式扩散训练策略,实验表明训练成本降低50%,推理效率提升1.5倍。

image.png image.png 5eecdaf48460cde5d5fb57f04567d5924607b27caa4c0b5458e70b814913bc360a414d3de9277d871abf3af1cbd752490a6821246a42478fac60da290331e111f9ef99549683b2f93c7e273e20172cc2b8c2f1031b0cf01bfc653b69905bac42.gif

作者:InternLM、Qwen 等 LLM每日一览热门论文版,顶会投稿选题不迷惘。来看看由「机智流」和「ModelScope」社区推荐的今日热门论文吧~

TPDiff: Temporal Pyramid Video Diffusion Model

论文链接:

https://modelscope.cn/papers/125911

简要介绍:

由新加坡国立大学Show Lab的Lingmin Ran和Mike Zheng Shou提出,TPDiff是一个创新的视频扩散模型框架,针对视频生成的高计算需求问题,通过分阶段逐步提高帧率优化了训练和推理效率。核心贡献包括提出“时间金字塔”方法和阶段式扩散训练策略,实验表明训练成本降低50%,推理效率提升1.5倍。

核心图片:

image.png


Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

论文链接:

https://modelscope.cn/papers/126168

简要介绍:

由Marianne Arriola等人提出,Block Diffusion结合自回归和扩散模型的优势,推出了一种支持灵活长度生成的高效语言模型。通过块状扩散设计和优化的训练算法,该模型在语言建模基准上刷新了扩散模型的性能纪录,支持任意长度序列生成。

核心图片:

image.png


Reangle-A-Video: 4D Video Generation as Video-to-Video Translation

论文链接:

https://modelscope.cn/papers/126077

简要介绍:

KAIST AI的Hyeonho Jeong等人提出了Reangle-A-Video,将多视角视频生成任务重构为视频到视频的翻译问题。无需大规模4D数据集,该方法利用现有图像和视频扩散模型,通过多视角运动学习和一致性引导生成同步多视角视频,超越了现有方法。

核心图片:

image.png


GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training

论文链接:

https://modelscope.cn/papers/125459

简要介绍:

清华大学Tong Wei等人提出了GTR框架,解决强化学习训练视觉-语言模型(VLM)代理时出现的“思维崩溃”问题。通过自动纠正器指导推理过程,该方法显著提升了LLaVA-7b在复杂视觉任务中的表现,成功率提升3-5倍。

核心图片:

image.png


RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

论文链接:

https://modelscope.cn/papers/125961

简要介绍:

耶路撒冷希伯来大学的Itay Chachy等人提出了RewardSDS,通过奖励加权采样增强得分蒸馏采样(SDS)的对齐能力。该方法在文本到图像、2D编辑和3D生成任务中表现出色,提升了生成质量和用户意图对齐度。

核心图片:

image.png


More Documents, Same Length: Isolating the Challenge of Multiple Documents in RAG

论文链接:

https://modelscope.cn/papers/123851

简要介绍:

耶路撒冷希伯来大学的Shahar Levy等人研究了检索增强生成(RAG)中多文档处理的独立挑战。实验表明,在固定上下文长度下,文档数量增加会导致LLM性能下降高达10%,揭示了多文档处理的新难题。

核心图片:

image.png


Motion Anything: Any to Motion Generation

论文链接:

https://modelscope.cn/papers/125267

简要介绍:

由ANU的Zeyu Zhang等人提出的Motion Anything是一个多模态运动生成框架,通过注意力掩码建模实现对关键帧和动作的精细控制。还推出了包含2153组文本-音乐-舞蹈数据的TMD数据集,FID提升15%。

核心图片:

image.png


Quantizing Large Language Models for Code Generation: A Differentiated Replication

论文链接:

https://modelscope.cn/papers/125103

简要介绍:

Alessandro Giagnorio等人对代码生成LLM的量化进行了扩展研究,测试了高达34B参数的模型和2位极致量化技术。结果显示4位量化可减少70%内存占用而不损性能,代码特定数据集在极低位量化时表现更优。


WildIFEval: Instruction Following in the Wild

论文链接:

https://modelscope.cn/papers/125130

简要介绍:

耶路撒冷希伯来大学的Gili Lior等人推出了WildIFEval,一个包含12K真实用户多约束指令的大规模数据集。实验显示,随着约束数量增加,所有LLM性能均下降,揭示了复杂指令跟随的改进空间。

核心图片:

image.png


VLog: Video-Language Models by Generative Retrieval of Narration Vocabulary

论文链接:

https://modelscope.cn/papers/126245


简要介绍:

新加坡国立大学Show Lab的Kevin Qinghong Lin等人提出了VLog,通过生成式检索和叙述词汇表革新视频理解。基于GPT-2,该模型实现高效、上下文准确的视频叙述,处理长视频速度提升10倍。

核心图片:

image.png


目录
相关文章
|
安全 数据安全/隐私保护
解释 TCSEC 和 ITSEC
【8月更文挑战第31天】
1468 1
|
网络协议
Wireshark抓包分析/TCP/Http/Https及代理IP的识别
前言   坦白讲,没想好怎样的开头。辗转三年过去了。一切已经变化了许多,一切似乎从没有改变。   前段时间调研了一次代理相关的知识,简单整理一下分享之。如有错误,欢迎指正。 涉及 Proxy IP应用 原理/层级wireshark抓包分析 HTTP head: X-Forwarded-For/ Proxy-Connection/伪造  X-Forwarded-For/ 以及常见的识别手段等几个方面。
4632 0
|
前端开发 JavaScript Java
毕业设计|SpringBoot Vue3小说阅读网站系统
毕业设计|SpringBoot Vue3小说阅读网站系统
788 2
|
Linux Android开发 Windows
eclipse连接远程服务器
eclipse里有一个强大的插件,可以直接在本地编辑远程服务器代码,Eclipse Remote System Explorer (RSE) 下载安装方法: 一、下载,高版本的eclipse可以直接下载,      1、打开help——Eclipse Mark...
3787 0
|
11月前
|
机器学习/深度学习 边缘计算 监控
基于YOLOv8的鸟类智能识别系统设计与实现
鸟类是生态系统中非常重要的物种,对生物多样性保护和生态研究具有重要意义。 传统的鸟类识别需要人工观察与分类,不仅效率低,而且容易受限于专家经验。 随着深度学习的发展,基于 YOLOv8 的鸟类检测系统 能够在自然场景中高效、准确地完成多物种识别,为生态监测、科研和教育提供有力工具。
基于YOLOv8的鸟类智能识别系统设计与实现
|
Java Maven 开发工具
idea导入项目不显示右侧maven的解决办法
idea导入项目不显示右侧maven的解决办法
2501 0
idea导入项目不显示右侧maven的解决办法
|
Java Apache 数据库
下一代实时数据库:Apache Doris 【二】编译与安装
下一代实时数据库:Apache Doris 【二】编译与安装
1147 0
|
搜索推荐 安全 Java
IntelliJ Idea 常用快捷键列表
IntelliJ Idea 常用快捷键列表
1339 0
IntelliJ Idea 常用快捷键列表
|
10月前
|
机器学习/深度学习 人工智能 编解码
7种常见鸟类分类图像数据集(8000张图片已划分)|AI训练适用于目标检测任务
本数据集包含8000张7类常见鸟类图像,涵盖麻雀、鸽子、乌鸦等,已划分训练与验证集,适用于AI目标检测与分类任务,支持YOLO、ResNet等模型,助力生态监测与科研教学。
7种常见鸟类分类图像数据集(8000张图片已划分)|AI训练适用于目标检测任务
|
编解码 前端开发 UED
【专栏:HTML与CSS实践篇】响应式网站开发实战
【4月更文挑战第30天】本文探讨了响应式网站开发,它能根据用户设备自动调整布局,提供最佳浏览体验。通过HTML和CSS,利用媒体查询、Flexbox和百分比宽度等技术实现响应式设计。媒体查询按屏幕尺寸定义CSS规则,Flexbox处理元素排列。文章通过新闻网站首页设计实例,展示了如何应用这些理论,包括使用Flexbox设计导航栏,使用媒体查询调整轮播图和内容区域,以及创建自适应页脚。遵循移动优先原则,关注性能优化和用户体验,响应式设计是前端开发的关键,为多设备用户提供优质浏览体验。
480 2

热门文章

最新文章