楠竹11_社区达人页

2024年12月

• 12.19 09:15:52
  发表了文章 2024-12-19 09:15:52

  幻觉不一定有害，新框架用AI的幻觉优化图像分割技术

  在图像分割领域，传统方法依赖大量手动标注数据，效率低下且难以适应复杂场景。为解决这一问题，研究人员提出了“任务通用可提示分割”方法，利用多模态大型语言模型（MLLM）生成实例特定提示。然而，MLLM常出现幻觉，影响分割精度。为此，研究团队开发了“Prompt-Mask Cycle”（ProMaC）框架，通过迭代生成和验证提示及掩码，有效利用幻觉信息，提高了分割精度和效率。实验结果表明，ProMaC在多个基准数据集上表现出色，为图像分割技术的发展提供了新思路。
• 12.19 09:15:46
  发表了文章 2024-12-19 09:15:46

  LLM 比之前预想的更像人类，竟也能三省吾身

  近年来，大型语言模型（LLM）在自然语言处理方面取得了显著进展。最新研究《内省：语言模型可以通过内省学习自我》揭示了LLM在自我反省方面的潜力。通过微调，LLM能够预测自身行为，表现出“特权访问”能力。实验显示，模型在预测自己行为时比预测其他模型的行为更准确，且在校准度和行为变化预测上表现优异。尽管存在任务复杂性和泛化能力的局限，内省能力仍对技术发展和伦理问题提出了重要思考。
• 12.19 09:15:39
  发表了文章 2024-12-19 09:15:39

  MetaGPT开源SELA，用AI设计AI，效果超越OpenAI使用的AIDE

  MetaGPT团队开源了Tree-Search Enhanced LLM Agents（SELA）系统，通过蒙特卡罗树搜索（MCTS）优化AutoML过程，显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明，其性能优于传统AutoML方法和基于LLM的代理，为AutoML领域带来了新的突破。
• 12.18 08:46:14
  发表了文章 2024-12-18 08:46:14

  理所当然也能错，数学界震动：上下铺猜想被证伪

  上下铺猜想是图论中的一个命题，断言在任何有限图中，如果将顶点排成一行，使每条边连接的顶点位置相邻或相隔一个位置，则图一定是二分图。然而，近期研究通过构造反例证明了这一猜想是错误的。这一结果不仅挑战了数学家的直觉，也为图论的结构性质提供了新的视角，强调了数学的严谨性和反直觉现象的重要性。
• 12.18 08:46:08
  发表了文章 2024-12-18 08:46:08

  苹果发布高效双EMA梯度优化方法，适配Transformer、Mamba模型

  苹果公司在arXiv上发布论文《The AdEMAMix Optimizer: Better, Faster, Older》，提出了一种基于双指数移动平均（EMA）的新型优化器AdEMAMix。该优化器通过使用快速和慢速EMA，同时利用近期和远期梯度信息，显著提升了模型训练的速度和效果。实验表明，AdEMAMix在语言建模和图像分类等任务上表现出色，尤其在大型语言模型的训练中，相比传统优化器如AdamW，训练效率提高了95%。
• 12.18 08:46:03
  发表了文章 2024-12-18 08:46:03

  NeurIPS 2024：机器人操纵世界模型来了，成功率超过谷歌RT-1 26.6%

  PIVOT-R是一种新型世界模型，专注于预测与任务相关的路点，以提高语言引导的机器人操作的性能和效率。该模型由路点感知世界模型（WAWM）和轻量级动作预测模块组成，辅以异步分层执行器（AHE），在SeaWave基准测试中表现优异，平均相对改进达19.45%，执行效率提高28倍。
• 12.17 08:37:05
  发表了文章 2024-12-17 08:37:05

  机器人迈向ChatGPT时刻！清华团队首次发现具身智能Scaling Laws

  清华大学研究团队在机器人操作领域发现了数据规模定律，通过大规模数据训练，机器人策略的泛化性能显著提升。研究揭示了环境和对象多样性的重要性，提出了高效的數據收集策略，使机器人在新环境中成功率达到约90%。这一发现有望推动机器人技术的发展，实现更广泛的应用。
• 12.17 08:36:59
  发表了文章 2024-12-17 08:36:59

  AI自己长出了类似大脑的脑叶？新研究揭示LLM特征的惊人几何结构

  近年来，大型语言模型（LLM）的内部运作机制备受关注。麻省理工学院的研究人员在论文《The Geometry of Concepts: Sparse Autoencoder Feature Structure》中，利用稀疏自编码器（SAE）分析LLM的激活空间，揭示了其丰富的几何结构。研究发现，特征在原子、大脑和星系三个尺度上展现出不同的结构，包括晶体结构、中尺度模块化结构和大尺度点云结构。这些发现不仅有助于理解LLM的工作原理，还可能对模型优化和其他领域产生重要影响。
• 12.17 08:36:54
  发表了文章 2024-12-17 08:36:54

  强化学习之父Richard Sutton给出一个简单思路，大幅增强所有RL算法

  Richard Sutton领导的团队提出了一种称为“奖励中心化”的方法，通过从观察到的奖励中减去其经验平均值，使奖励更加集中，显著提高了强化学习算法的性能。该方法在解决持续性问题时表现出色，尤其是在折扣因子接近1的情况下。论文地址：https://arxiv.org/pdf/2405.09999
• 12.16 11:36:52
  回答了问题 2024-12-16 11:36:52

  AI视频技术的发展是否会影响原创内容的价值？

  赞3 踩0 评论0
• 12.16 11:34:31
  回答了问题 2024-12-16 11:34:31

  日常工作中，开发者应该如何避免“效率陷阱”？

  赞2 踩0 评论0
• 12.16 11:31:38
  回答了问题 2024-12-16 11:31:38

  AI 编码助手能否引领编程革命？一起探索 AI 对研发流程的变革

  赞49 踩0 评论0
• 12.16 11:23:25
  发表了文章 2024-12-16 11:23:25

  打破RLHF瓶颈，克服奖励欺骗！Meta发布全新后训练方式CGPO，编程水平直升5%

  Meta提出了一种名为约束生成策略优化（CGPO）的新型后训练范式，用于解决基于人类反馈的强化学习（RLHF）在多任务学习中的挑战，如奖励欺骗和极端多目标优化。CGPO通过混合裁判（MoJ）技术，结合成本效益约束策略优化和分层技术，系统化地识别RLHF中的平衡点。与传统方法相比，CGPO在多个任务上表现出色，包括一般聊天、STEM问题、指令遵循、数学、编程和知识等，且具有理论保证。CGPO还能够检测并缓解奖励欺骗行为，显著提升了多任务学习的性能。论文链接：https://arxiv.org/pdf/2409.20370
• 12.16 11:23:08
  发表了文章 2024-12-16 11:23:08

  新视角设计下一代时序基础模型，Salesforce推出Moirai-MoE

  **Moirai-MoE：时间序列预测的新突破** Salesforce Research团队提出了Moirai-MoE模型，通过稀疏混合专家（MoE）技术，解决了传统时间序列预测方法中存在的频率不可靠和非平稳性问题。该模型在39个数据集上的实验结果表明，其性能优于现有基础模型，具有更高的创新性和泛化能力。论文地址：https://arxiv.org/abs/2410.10469
• 12.16 11:23:02
  发表了文章 2024-12-16 11:23:02

  3D大模型助力，15分钟即可训练高质量、个性化的数字人模型，代码已开放

  《MimicTalk: 快速生成个性化3D数字人》介绍了一种创新方法，利用3D大模型在15分钟内训练出高质量、个性化的数字人模型。该方法基于NeRF技术，通过“静态-动态混合适应”实现高效训练，显著提升了数字人在视频会议、虚拟现实等领域的应用潜力。论文链接：https://arxiv.org/pdf/2410.06734
• 12.13 08:50:48
  发表了文章 2024-12-13 08:50:48

  国产最强语音大模型诞生，MaskGCT宣布开源，声音效果媲美人类

  MaskGCT是一种由国内团队开发的新型非自回归文本到语音合成模型，采用两阶段模型设计和掩码预测学习范式，无需显式对齐信息及音素级别持续时间预测，能高效生成高质量语音，达到近似人类水平。其开源发布标志着国产语音大模型技术的重大突破，具有广泛的应用前景和重要的科研价值。
• 12.13 08:50:41
  发表了文章 2024-12-13 08:50:41

  导航、采矿、建造，北大这个新智能体把《我的世界》玩透了

  北京大学研究团队开发的ROCKET-1智能体在《我的世界》中展现了卓越能力。通过视觉-时间上下文提示协议，ROCKET-1结合视觉和语言模型，高效解决复杂任务，如导航、采矿和建造。其核心设计包括高层次推理器和低层次政策模型，分别负责任务分解和具体执行。实验显示，ROCKET-1在短时和长时任务中均表现出色，具备强大的零样本学习能力。
• 12.13 08:50:34
  发表了文章 2024-12-13 08:50:34

  超越YOLOv10/11、RT-DETRv2/3！中科大D-FINE重新定义边界框回归任务

  中科大研究团队提出了一种新型目标检测器D-FINE，通过重新定义边界框回归任务，实现超越YOLOv10/11和RT-DETRv2/3的性能。D-FINE采用细粒度分布细化（FDR）和全局最优定位自蒸馏（GO-LSD）技术，显著提高了定位精度和检测速度。在COCO数据集上，D-FINE-L/X分别达到54.0%/55.8%的AP，并在NVIDIA T4 GPU上以124/78 FPS运行。
• 12.12 08:48:01
  发表了文章 2024-12-12 08:48:01

  新扩散模型OmniGen一统图像生成，架构还高度简化、易用

  近期，一篇题为“OmniGen: Unified Image Generation”的论文介绍了一种新型扩散模型OmniGen，旨在统一图像生成任务。OmniGen架构简洁，无需额外模块即可处理多种任务，如文本到图像生成、图像编辑等。该模型通过修正流优化，展现出与现有模型相当或更优的性能，尤其在图像编辑和视觉条件生成方面表现突出。OmniGen仅含3.8亿参数，却能有效处理复杂任务，简化工作流程。尽管如此，OmniGen仍存在对文本提示敏感、文本渲染能力有限等问题，未来研究将继续优化其架构与功能。
• 12.12 08:47:52
  发表了文章 2024-12-12 08:47:52

  大规模、动态语音增强/分离新基准！清华发布移动音源仿真平台SonicSim，含950+小时训练数据

  清华大学研究团队推出SonicSim，一款专为语音增强和分离技术设计的移动音源仿真平台。它基于Habitat-sim开发，能生成高度可定制的合成数据，涵盖多个层次的调整选项，有效解决了现有数据集在数量和多样性上的不足。SonicSim不仅提升了模型训练和评估的真实性和全面性，还通过构建SonicSet基准数据集，进一步推动了该领域的研究进展。
• 12.12 08:47:47
  发表了文章 2024-12-12 08:47:47

  AI长脑子了？LLM惊现人类脑叶结构并有数学代码分区，MIT大牛新作震惊学界！

  麻省理工学院的一项新研究揭示了大型语言模型（LLM）内部概念空间的几何结构，与人脑类似。研究通过分析稀疏自编码器生成的高维向量，发现了概念空间在原子、大脑和星系三个层次上的独特结构，为理解LLM的内部机制提供了新视角。论文地址：https://arxiv.org/abs/2410.19750
• 12.11 08:35:54
  回答了问题 2024-12-11 08:35:54

  AI新茶饮，是噱头还是未来？

  赞31 踩0 评论0
• 12.11 08:30:39
  回答了问题 2024-12-11 08:30:39

  开发者们需要如何打造属于自己的Plan B?

  赞16 踩0 评论0
• 12.11 08:24:23
  发表了文章 2024-12-11 08:24:23

  超越Transformer，全面升级！MIT等华人团队发布通用时序TimeMixer++架构，8项任务全面领先

  一支由麻省理工学院、香港科技大学（广州）、浙江大学和格里菲斯大学的华人研究团队，开发了名为TimeMixer++的时间序列分析模型。该模型在8项任务中超越现有技术，通过多尺度时间图像转换、双轴注意力机制和多尺度多分辨率混合等技术，实现了性能的显著提升。论文已发布于arXiv。
• 12.11 08:24:17
  发表了文章 2024-12-11 08:24:17

  一个模型走天下！智源提出全新扩散架构OmniGen，AI生图进入一键生成时代

  智源研究院推出OmniGen，一种全新的扩散模型，旨在克服现有图像生成模型的局限性。OmniGen能处理文本到图像、图像编辑等多任务，具备高效、简洁的架构，仅含VAE和预训练Transformer。通过大规模统一数据集X2I训练，OmniGen展现了强大的多任务处理能力和知识转移能力，适用于虚拟试穿、图像修复等多个领域。尽管如此，OmniGen在特定任务上的性能、训练资源需求及可解释性等方面仍面临挑战。
• 12.11 08:24:11
  发表了文章 2024-12-11 08:24:11

  突破时间序列组合推理难题！南加大发布一站式多步推理框架TS-Reasoner

  南加州大学提出TS-Reasoner，一种基于大型语言模型的时间序列一站式多步推理框架。它能将复杂任务分解为多个子任务，如预测、异常检测等，通过组合现有模型完成多步推理。实验显示，TS-Reasoner在金融和能源领域的多步推理任务中表现出色，但需大量计算资源且灵活性有限。论文链接：https://arxiv.org/pdf/2410.04047
• 12.10 14:10:43
  发表了文章 2024-12-10 14:10:43

  一张显卡看遍天下电影！智源联合高校开源Video-XL打破长视频理解极限，95%准确率刷爆纪录

  智源研究院联合高校团队推出Video-XL，一款专为超长视频设计的理解模型。通过视觉上下文潜在摘要技术，Video-XL将大量视觉数据高效压缩，显著提升理解准确性并降低计算成本。在多项测试中，Video-XL超越现有方法，展现出卓越性能。其开源为视频理解领域带来新活力，适用于视频监控、电影分析等多种场景。尽管面临一些挑战，Video-XL仍是视频理解领域的重要里程碑。
• 12.10 14:10:38
  发表了文章 2024-12-10 14:10:38

  陶哲轩神预言！Transformer破解百年三体难题，凭数学直觉找到李雅普诺夫函数

  在AI领域，语言模型处理复杂数学问题的能力一直受限。最近，由François Charton领导的团队利用Transformer模型成功解决了寻找李雅普诺夫函数这一百年难题，显著提升了动态系统的全局稳定性分析能力。该方法通过生成随机动态系统及其李雅普诺夫函数作为训练数据，使模型学会了从系统到函数的映射，不仅超越了传统算法和人类数学家的表现，还为解决其他数学难题开辟了新路径。
• 12.10 14:10:31
  发表了文章 2024-12-10 14:10:31

  NeurIPS 2024：消除多对多问题，清华提出大规模细粒度视频片段标注新范式VERIFIED

  清华大学研究团队提出VERIFIED，一种基于大型语言模型和多模态模型的大规模细粒度视频片段标注新方法。VERIFIED通过静态与动态增强字幕及细粒度感知噪声评估器，有效解决了视频语义理解中的多对多问题、细粒度理解和大规模数据标注挑战。实验结果显示，VERIFIED能生成高质量的细粒度视频片段标注，显著提升了视频理解的精度和效率。
• 12.09 08:41:52
  发表了文章 2024-12-09 08:41:52

  整合长期记忆，AI实现自我进化，探索大模型这一可能性

  本文探讨了通过整合长期记忆（LTM），AI模型能否实现自我进化，以提升处理新任务和适应环境的能力。LTM能帮助模型存储和利用长期信息，提高决策质量和服务个性化水平。文章还讨论了LTM整合的挑战及解决方案，以及如何借鉴人类记忆机制设计有效的LTM策略。[论文链接](https://arxiv.org/pdf/2410.15665)
• 12.09 08:41:46
  发表了文章 2024-12-09 08:41:46

  世界模型新突破！极佳科技提出DriveDreamer4D，首次利用世界模型增强4D驾驶场景重建效果

  极佳科技提出DriveDreamer4D，一种利用世界模型先验知识增强4D驾驶场景重建的方法。它通过生成符合交通规则的新轨迹视频，显著提升了自动驾驶系统的测试数据质量和时空一致性，相较于现有方法在多项指标上实现显著改进，为自动驾驶技术发展带来新机遇。
• 12.09 08:41:41
  发表了文章 2024-12-09 08:41:41

  NeurIPS 2024：如何防御对抗性提示攻击？AdvUnlearn让图片生成风险骤降

  扩散模型在文本到图像生成上取得成功，但也带来安全风险。本文提出AdvUnlearn框架，通过结合对抗性训练增强概念擦除的鲁棒性，有效防止对抗性提示攻击，同时保持模型的图像生成质量和实用性。实验验证了其在多种场景下的优势。
• 12.06 09:51:39
  发表了文章 2024-12-06 09:51:39

  真•开放式游戏，谷歌造出首个无限人生模拟游戏Unbounded

  Unbounded是一款由谷歌和北卡罗来纳大学教堂山分校合作开发的无限人生模拟游戏，利用生成模型突破传统游戏界限，提供个性化角色、动态世界生成、开放性互动和实时生成等特色，为玩家带来前所未有的游戏体验。
• 12.06 09:51:33
  发表了文章 2024-12-06 09:51:33

  无需训练即可创建数字人，字节PersonaTalk视频口型编辑超SOTA

  字节跳动研究人员提出了PersonaTalk，一种创新的音频驱动视觉配音方法，通过两阶段框架实现高保真度和个性化的口型同步视频生成。该方法无需特定人物训练，具有广泛的应用前景。
• 12.06 09:51:28
  发表了文章 2024-12-06 09:51:28

  控制电脑手机的智能体人人都能造，微软开源OmniParser

  微软研究团队推出OmniParser，旨在提升GPT-4V等多模态模型在用户界面操作方面的性能。通过解析用户界面截图为结构化元素，OmniParser显著增强了模型的交互能力，使其在多种基准测试中表现出色。该技术开源，促进了社区合作与技术创新，但同时也面临数据质量、计算资源及安全隐私等挑战。
• 12.05 09:00:46
  发表了文章 2024-12-05 09:00:46

  让AI像人类一样操作手机，华为也做出来了

  华为诺亚方舟实验室研发的LiMAC系统，通过轻量级Transformer网络和微调的视觉-语言模型，实现了高效、准确的Android应用交互与控制。该系统在多个公开数据集上展现出卓越性能，提升了任务执行速度与准确性，同时具备良好的灵活性，但需大量训练数据支持。
• 12.05 09:00:40
  发表了文章 2024-12-05 09:00:40

  哪个模型擅长调用工具？这个7B模型跻身工具调用综合榜单第一

  《Hammer: Robust Function-Calling for On-Device Language Models via Function Masking》提出了一种新型基础模型Hammer，通过函数掩码技术显著提升了大型语言模型在工具调用方面的性能，减少了对特定命名约定的依赖，展现了强大的泛化能力和超越现有模型的表现。该研究已开源，旨在促进智能设备的本地AI功能发展。
• 12.05 09:00:31
  发表了文章 2024-12-05 09:00:31

  Nature专业户DeepMind又登封面，开源水印技术SynthID-Text，Gemini已经用上了

  在AI领域，大型语言模型（LLMs）的应用日益广泛，但如何区分机器生成与人类撰写的内容成为难题。为此，研究人员开发了SynthID-Text，一种基于Tournament采样的生成水印技术。它能有效嵌入水印，同时保持文本质量，具有低计算成本和高检测性能的优势，已在Google DeepMind的Gemini系统中应用。然而，该技术在协调要求、攻击防御及开源模型应用方面仍面临挑战。
• 12.04 08:18:41
  发表了文章 2024-12-04 08:18:41

  MIT韩松团队长上下文LLM推理高效框架DuoAttention：单GPU实现330万Token上下文推理

  麻省理工学院韩松团队提出DuoAttention框架，旨在提高大型语言模型（LLM）处理长上下文的效率。该框架通过区分检索头和流式头，仅对检索头应用全键值缓存，减少内存消耗和计算时间，同时保持模型长上下文处理能力。实验结果显示，DuoAttention在多种模型架构上显著提升了推理效率，为LLM的实际应用提供了新可能。
• 12.04 08:18:35
  发表了文章 2024-12-04 08:18:35

  田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%

  田渊栋团队提出Agent-as-a-Judge框架，利用智能体自身评估其他智能体的性能，不仅关注最终结果，还能提供中间反馈，更全面准确地反映智能体的真实能力。该框架在DevAI基准测试中表现出色，成本效益显著，为智能体的自我改进提供了有力支持。
• 12.04 08:18:29
  发表了文章 2024-12-04 08:18:29

  谷歌版贾维斯即将问世，最强Gemini 2.0加持！AI自主操控电脑时代来临

  谷歌发布的Gemini 2.0标志着AI新时代的到来，被誉为“谷歌版贾维斯”。该系统在自然语言处理、图像识别及自主操控电脑等方面取得重大进展，尤其在多模态数据处理上表现出色，能更准确理解用户需求并执行复杂任务。尽管存在对AI自主操控可能带来的负面影响的担忧，谷歌强调Gemini 2.0旨在辅助而非替代人类工作，且已采取多项措施保障其安全性和可靠性。
• 12.03 08:54:48
  回答了问题 2024-12-03 08:54:48

  AI音色克隆挑战播客，它能模拟人的特质吗？

  赞12 踩0 评论0
• 12.03 08:50:04
  回答了问题 2024-12-03 08:50:04

  动机VS自律，对开发者们来说哪个比较重要？

  赞12 踩0 评论0
• 12.03 08:43:54
  发表了文章 2024-12-03 08:43:54

  深挖大模型幻觉！哈佛大学最新报告：LLM等价于众包，只是在输出网络共识

  大型语言模型（LLM）如ChatGPT正改变人机交互，但在生成看似真实的错误信息方面存在“幻觉”问题。这种现象源于LLM依赖统计概率而非语义理解，导致在处理争议或冷门话题时易出错。研究显示，LLM的准确性高度依赖于训练数据的质量和数量。尽管如此，LLM仍具巨大潜力，需持续优化并保持批判性使用。
• 12.03 08:43:49
  发表了文章 2024-12-03 08:43:49

  RNN回归！Bengio新作大道至简与Transformer一较高下

  研究团队提出了一种名为“minimal LSTMs and GRUs”的新型RNN模型，通过简化传统LSTM和GRU结构，去除了隐藏状态对输入、遗忘和更新门的依赖，实现了无需BPTT的高效并行训练。该模型不仅保持了RNN处理序列数据的优势，还大幅提升了训练速度，在多个任务上的表现与Transformer相当，同时减少了参数量。研究结果发表于论文《minimal LSTMs and GRUs》。
• 12.03 08:43:44
  发表了文章 2024-12-03 08:43:44

  图像伪造照妖镜！北大发布多模态LLM图像篡改检测定位框架FakeShield

  北京大学研究团队提出了一种名为FakeShield的多模态框架，旨在解决图像伪造检测与定位（IFDL）中的黑箱问题及泛化能力不足。FakeShield不仅能评估图像真实性，生成篡改区域的掩码，还能提供像素级和图像级的篡改线索及详细文本描述，增强检测的可解释性。通过使用GPT-4o增强现有数据集，创建多模态篡改描述数据集（MMTD-Set），并引入领域标签引导的可解释伪造检测模块（DTE-FDM）和多模态伪造定位模块（MFLM），FakeShield在多种篡改技术的检测与定位上表现优异，为图像真实性维护提供了有力工具。
• 12.02 11:39:09
  发表了文章 2024-12-02 11:39:09

  OpenAI发布sCM提升50倍效率，扩散模型重大技术突破！

  OpenAI近期发布了Simplified Consistency Models (sCM) 技术，这是在扩散模型基础上的重大改进，实现了50倍效率提升。sCM通过简化和稳定连续时间一致性模型的训练过程，解决了传统模型中的离散化误差和训练不稳定性问题，显著提升了生成模型的性能和效率。在多个数据集上的测试结果表明，sCM不仅超越了现有模型，还在生成模型的实际应用中展现了巨大潜力。论文地址：https://arxiv.org/abs/2410.11081
• 12.02 11:39:00
  发表了文章 2024-12-02 11:39:00

  全球首次！时序大模型突破十亿参数，华人团队发布Time-MoE，预训练数据达3000亿个时间点

  时序数据在动态系统和应用中至关重要，但其复杂性使得分析极具挑战。Time-MoE是一种基于稀疏混合专家设计的可扩展架构，旨在预训练更大、更强大的时序预测模型，同时降低推理成本。它在新数据集Time-300B上训练，包含超过3000亿个时间点，跨9个领域，显著提升了预测精度，成为解决时序预测问题的先进方案。
• 12.02 11:38:55
  发表了文章 2024-12-02 11:38:55

  谢赛宁新作：表征学习有多重要？一个操作刷新SOTA，DiT训练速度暴涨18倍

  谢赛宁团队提出REPA方法，通过将扩散模型中的噪声输入隐藏状态与外部预训练视觉编码器的干净图像表征对齐，显著提升扩散模型的训练效率和生成质量，为扩散模型在表征学习上的应用开辟新路径。

2024年11月

• 11.30 06:49:04
  发表了文章 2024-11-30 06:49:04

  RAG真能提升LLM推理能力？人大最新研究：数据有噪声，RAG性能不升反降

  随着大型语言模型（LLM）在自然语言处理领域的广泛应用，检索增强生成（RAG）技术因能引入新知识和减少幻觉而受到关注。然而，RAG对LLM推理能力的实际提升效果仍存争议。中国人民大学的一项研究表明，RAG虽能辅助LLM推理，但在处理含噪信息和深度推理时面临挑战。为此，研究团队提出了DPrompt tuning方法，旨在解决噪声问题并提升RAG性能。