楠竹11_社区达人页

2024年09月

• 09.21 09:32:39
  发表了文章 2024-09-21 09:32:39

  模型小，还高效！港大最新推荐系统EasyRec：零样本文本推荐能力超越OpenAI、Bert

  【9月更文挑战第21天】香港大学研究者开发了一种名为EasyRec的新推荐系统，利用语言模型的强大文本理解和生成能力，解决了传统推荐算法在零样本学习场景中的局限。EasyRec通过文本-行为对齐框架，结合对比学习和协同语言模型调优，提升了推荐准确性。实验表明，EasyRec在多个真实世界数据集上的表现优于现有模型，但其性能依赖高质量文本数据且计算复杂度较高。论文详见：http://arxiv.org/abs/2408.08821
• 09.21 09:32:31
  发表了文章 2024-09-21 09:32:31

  首篇虚拟现实+人工智能综述！浙大、港中深等发布AI医疗最新报告

  【9月更文挑战第21天】近年来，AI驱动的虚拟现实（VR）技术革新了医疗领域，浙江大学等发布的报告系统性审视了这一融合趋势。报告提出三大应用分类——可视化增强、医疗数据处理与VR辅助干预，助力精准诊疗。然而，技术成熟度、数据安全及伦理问题仍待解决。这一跨学科研究为未来医疗科技奠定了基础。报告详情参见：<https://www.ijcai.org/proceedings/2024/920>。
• 09.21 09:32:20
  发表了文章 2024-09-21 09:32:20

  Meta浙大校友让评估模型自学成才，数据全合成无需人工标注，训练Llama 3 70B超过405B

  【9月更文挑战第21天】近日，一篇名为《Self-Taught Evaluators》的论文引起了广泛关注。该论文由Meta与浙江大学校友合作完成，提出一种创新的模型评估方法，通过让评估模型自学习训练，无需依赖昂贵且易过时的人工标注数据。此方法利用合成数据，通过迭代生成对比模型输出并训练基于大型语言模型的评估器，从而实现自我迭代改进。研究结果显示，在不使用任何标注偏好数据的情况下，这种方法显著提升了评估模型的性能，甚至超越了一些现有模型。尽管如此，该方法在实际应用中仍需进一步验证。论文地址：https://arxiv.org/abs/2408.02666
• 09.20 13:42:23
  回答了问题 2024-09-20 13:42:23

  我在云栖做动手，一起参与吗？

  赞29 踩0 评论0
• 09.20 09:26:24
  发表了文章 2024-09-20 09:26:24

  程序员为何容易爱上AI？MIT学者诊断：智性恋浓度过高！

  【9月更文挑战第20天】近日，一篇由MIT学者撰写的论文在网络上引发热议，探讨了程序员为何易对AI产生深厚情感，即“智性恋”。论文指出，程序员在开发和使用AI时，因对其智能和能力的钦佩而形成依赖与认同，但这可能导致过度依赖AI，忽视自身价值或其局限性，甚至引发不健康的竞争。论文链接：https://arxiv.org/pdf/2407.14933。
• 09.20 09:26:17
  发表了文章 2024-09-20 09:26:17

  语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场

  【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法，通过融合Transformer和Diffusion模型，实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力，能够在单一架构中处理混合模态数据，有效学习文本与图像间的复杂关系，提升跨模态理解和生成效果。经过大规模预训练，Transfusion模型在多种基准测试中表现出色，尤其在图像压缩和模态特定编码方面具有优势。然而，其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
• 09.20 09:25:57
  发表了文章 2024-09-20 09:25:57

  谷歌发布Imagen 3，超过SD3、DALL・E-3

  【9月更文挑战第20天】谷歌研究团队近日发布的Imagen 3图像生成模型，在图像生成领域引起广泛关注。该模型基于潜在扩散模型，可根据文本提示生成高质量图像，并在图像质量和责任性方面取得显著进展。尽管其图像生成能力备受赞誉，但也引发了关于模型安全性、道德性以及技术发展方向的讨论。研究团队已开始探讨如何减少潜在危害，并强调了模型安全性和代表性的重要性。论文地址：https://arxiv.org/abs/2408.07009
• 09.19 09:00:28
  发表了文章 2024-09-19 09:00:28

  大发现！谷歌证明反学习，无法让大模型删除不良信息

  【9月更文挑战第19天】最近，Ilia Shumailov等人发表的论文《UnUnlearning：反学习在大语言模型中的内容监管不足》在人工智能领域引发了热议。该论文探讨了反学习在大型语言模型中的应用，指出反学习虽能有效控制训练阶段的数据撤回，但在推理阶段仍可能执行非法行为，引入了“反反学习”的概念。这一发现对内容监管产生重要影响，但也引发了关于反学习有效性的争议。详细内容与讨论可见论文原文：https://arxiv.org/abs/2407.00106
• 09.19 09:00:21
  发表了文章 2024-09-19 09:00:21

  MUMU：用文本、图像引导，多模态图像生成模型

  【9月更文挑战第19天】随着人工智能技术的发展，多模态模型因其能处理文本、图像、音频等多种信息而备受关注。在图像生成领域，一种名为MUMU的新模型展现出巨大潜力。MUMU可接收文本和图像提示并生成相应图像，如根据“一个<图片：男人>男人和他的<图片：狗>狗在一个<图片：卡通>动画风格中”生成图像。通过训练包含文本-图像数据集的视觉-语言编码器及扩散解码器，MUMU能实现风格转换和角色一致性等任务，并在图像编辑和合成方面展示出潜力。然而，其仍受限于复杂场景处理能力和计算资源需求。论文详情见链接：https://arxiv.org/abs/2406.18790。
• 09.19 09:00:09
  发表了文章 2024-09-19 09:00:09

  如何让等变神经网络可解释性更强？试试将它分解成简单表示

  【9月更文挑战第19天】等变神经网络在图像识别和自然语言处理中表现出色，但其复杂结构使其可解释性成为一个挑战。论文《等变神经网络和分段线性表示论》由Joel Gibson、Daniel Tubbenhauer和Geordie Williamson撰写，提出了一种基于群表示论的方法，将等变神经网络分解成简单表示，从而提升其可解释性。简单表示被视为群表示的“原子”，通过这一分解方法，可以更好地理解网络结构与功能。论文还展示了非线性激活函数如何产生分段线性映射，为解释等变神经网络提供了新工具。然而，该方法需要大量计算资源，并且可能无法完全揭示网络行为。
• 09.18 09:38:11
  发表了文章 2024-09-18 09:38:11

  总说具身智能的数据太贵，鹏城实验室开源百万规模标准化数据集

  【9月更文挑战第18天】鹏城实验室提出的ARIO（All Robots In One）标准，为具身智能领域带来了统一的数据格式、丰富的感知模态及多样化的真实与模拟数据，显著提升了数据集的质量与规模，助力智能系统更好地与物理世界互动。基于此标准构建的大规模数据集包含约300万个片段，覆盖258个系列和321,064个任务，极大地推动了具身智能的研究与发展。然而，该数据集也面临着存储需求高、系统互操作性及应用场景适应性等挑战。论文详情见：http://arxiv.org/abs/2408.10899。
• 09.18 09:38:03
  发表了文章 2024-09-18 09:38:03

  用AI自动设计智能体，数学提分25.9%，远超手工设计

  【9月更文挑战第18天】《智能体自动设计（ADAS）》是由不列颠哥伦比亚大学等机构的研究者们发布的一篇关于自动化设计智能体系统的最新论文。研究中提出了一种创新算法——“Meta Agent Search”，此算法通过迭代生成并优化智能体设计，从而实现更高效的智能体系统构建。实验表明，相比人工设计的智能体，Meta Agent Search生成的智能体在多个领域均有显著的性能提升。然而，该方法也面临着实际应用中的有效性与鲁棒性等挑战。论文详细内容及实验结果可于以下链接查阅：https://arxiv.org/pdf/2408.08435。
• 09.18 09:37:56
  发表了文章 2024-09-18 09:37:56

  明确了：文本数据中加点代码，训练出的大模型更强、更通用

  【9月更文挑战第18天】《To Code, or Not To Code? Exploring Impact of Code in Pre-training》一文探讨了在大型语言模型（LLMs）预训练中引入代码数据的影响。研究显示，包含代码数据能显著提升模型的总体性能，尤其在自然语言推理和代码任务上表现突出。作者通过广泛的消融实验验证了这一结论，但同时也指出需关注潜在的负面效应及模型架构等因素的影响。更多详细信息，请参阅论文原文：[链接](https://arxiv.org/abs/2408.10914)。
• 09.17 07:24:10
  发表了文章 2024-09-17 07:24:10

  谷歌将大模型集成在实体机器人中，能看、听、说执行57种任务

  【9月更文挑战第17天】近年来，人工智能在多模态大模型领域取得显著进展。谷歌最新研发的Mobility VLA系统，将大模型与实体机器人结合，实现了视觉、语言和行动的融合，使机器人能理解并执行复杂多模态指令，如“我应该把这个放回哪里？”系统在真实环境测试中表现出色，但在计算资源、数据需求及伦理问题上仍面临挑战。相关论文发布于https://arxiv.org/abs/2407.07775。
• 09.17 07:24:02
  发表了文章 2024-09-17 07:24:02

  CIKM 2024：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图

  【9月更文挑战第17天】在CIKM 2024会议上，Emory大学的研究人员提出了一种创新框架，将大型语言模型（LLM）的知识蒸馏到图神经网络（GNN）中，以克服文本图（TAGs）学习中的数据稀缺问题。该方法通过LLM生成文本推理，并训练解释器模型理解这些推理，再用学生模型模仿此过程。实验显示，在四个数据集上性能平均提升了6.2%，但依赖于LLM的质量和高性能。论文链接：https://arxiv.org/pdf/2402.12022
• 09.17 07:23:54
  发表了文章 2024-09-17 07:23:54

  GPT-4无师自通预测蛋白质结构登Nature子刊！LLM全面进军生物学，AlphaFold被偷家?

  【9月更文挑战第17天】近日，《自然》子刊发表的一篇论文展示了GPT-4在预测蛋白质结构方面的惊人能力，这一突破不仅揭示了大型语言模型在生物学领域的巨大潜力，还可能影响传统预测工具如AlphaFold的地位。研究人员发现，GPT-4仅通过自然语言处理就能准确预测蛋白质的三维结构，包括常见的氨基酸序列和复杂的α-螺旋结构。实验结果显示，其预测精度与实际结构非常接近。这一成果意味着自然语言处理技术也可应用于生物学研究，但同时也引发了关于其局限性和对现有工具影响的讨论。论文详情见：https://www.nature.com/articles/s41598-024-69021-2
• 09.16 07:04:26
  发表了文章 2024-09-16 07:04:26

  谷歌通过数据增强、对比调优，减少多模态模型幻觉

  【9月更文挑战第16天】谷歌研究人员针对多模态大语言模型（MLLMs）中的幻觉问题，提出了一种结合数据增强与对比调优的新方法，旨在减少模型生成错误信息的情况。该方法通过生成式数据增强制造幻觉标记并与真实标记对比，利用对比损失优化模型参数，从而提升模型对真实信息的辨识能力。实验结果显示，此方法能显著降低对象幻觉现象，但在模拟复杂现实场景及计算需求方面仍面临挑战。相关研究已发布在论文《通过数据增强的对比调优减轻对象幻觉》中。
• 09.16 07:04:19
  发表了文章 2024-09-16 07:04:19

  KDD 2024：Emory提出最新PolygonGNN框架：可捕捉通用多边形内外的空间关系

  【9月更文挑战第16天】近年来，多边形表示学习在形状编码、建筑模式分类和地理问答等应用中至关重要。然而，现有研究多聚焦于单个多边形，忽视了多边形间复杂关系。为解决此问题，Emory大学团队提出了PolygonGNN框架，通过异质可见性图整合内外关系，并引入异质生成树采样提升计算效率。该框架设计了旋转平移不变的几何表示，适用于多种场景。实验结果显示，PolygonGNN在多个任务上表现优异，但在处理大规模场景时仍面临计算复杂度挑战，并未充分考虑拓扑结构和语义信息的影响。
• 09.16 07:04:12
  发表了文章 2024-09-16 07:04:12

  Nature：AI让抄袭问题更加复杂，科学家该如何应对？

  【9月更文挑战第16天】《自然》杂志一篇文章指出，AI在科研领域的应用日益增长，带来了加速数据处理、提升计算效率等益处，同时也引发了对科学标准、数据偏见及研究诚信的挑战。一项针对1600多名研究人员的调查显示，超半数认为未来十年AI将成为其研究领域不可或缺的工具。AI能够显著提升科研效率，但也可能增加对模式识别的依赖，加剧数据偏见，并引发研究不可重复性等问题。尤其是大型语言模型如ChatGPT，虽有助于改进论文语法和翻译，但也可能传播错误信息。此外，部分科学家面临计算资源和高质量数据不足等使用障碍。
• 09.15 07:37:34
  发表了文章 2024-09-15 07:37:34

  多模态模型评测框架lmms-eval发布！全面覆盖，低成本，零污染

  【9月更文挑战第15天】LMMS-EVAL 是一项由多家研究机构联合开发的多模态模型评测框架，旨在为大型多模态模型提供全面、低成本且零污染的评测基准。该框架包含超过50个任务和10多个模型，覆盖图像分类、目标检测、语音识别等多个领域，使研究人员能够在有限资源下轻松评估和比较模型性能。通过利用实时更新的数据源，LMMS-EVAL 还确保了模型在真实世界中的泛化能力。论文地址: https://arxiv.org/abs/2407.12772
• 09.15 07:37:24
  发表了文章 2024-09-15 07:37:24

  支持1024帧、准确率近100％，英伟达LongVILA开始发力长视频

  【9月更文挑战第15天】近年来，随着人工智能技术的发展，长视频的理解与处理成为研究热点。针对长视频对模型长上下文能力的高要求，NVIDIA提出了综合性解决方案LongVILA，涵盖系统设计、模型训练及数据集开发。其MM-SP系统在多GPU环境下大幅提升训练速度；五阶段训练流程逐步增强模型理解能力；大规模数据集支持多阶段训练。LongVILA成功将VILA模型帧数扩展至1024，并显著提升了长视频字幕得分，但在计算成本和实际应用准确性方面仍面临挑战。
• 09.15 07:37:17
  发表了文章 2024-09-15 07:37:17

  AI设计自己，代码造物主已来！UBC华人一作首提ADAS，数学能力暴涨25.9%

  【9月更文挑战第15天】近年来，人工智能领域取得了显著进展，但智能体系统的设计仍需大量人力与专业知识。为解决这一问题，UBC研究人员提出了“自动智能体系统设计（ADAS）”新方法，通过基于代码的元智能体实现智能体系统的自动化设计与优化。实验结果表明，ADAS设计的智能体在多个领域中表现优异，尤其在阅读理解和数学任务上取得了显著提升。尽管如此，ADAS仍面临安全性、可扩展性和效率等挑战，需进一步研究解决。论文详情见链接：https://arxiv.org/pdf/2408.08435。
• 09.14 09:27:30
  发表了文章 2024-09-14 09:27:30

  浙大李玺团队：指代表达理解新方法，ScanFormer粗到细迭代消除视觉冗余

  【9月更文挑战第14天】近年来，人工智能的迅猛发展推动了计算机视觉与自然语言处理交叉领域的研究，其中指代表达理解任务备受关注。REC的目标是在图像中根据自然语言描述定位目标对象。然而，现有方法因密集感知图像而导致计算开销大。为此，浙江大学李玺团队提出了ScanFormer，一种迭代感知框架，通过自顶向下的方式逐步提取与语言相关的视觉块，并通过信息性预测丢弃不相关部分，有效减少冗余，提升模型效率。实验表明，ScanFormer在多个基准数据集上表现优异，实现了准确性和效率的良好平衡。不过，它目前仅支持单目标定位，且在某些场景下可能不如其他方法精确。
• 09.14 09:27:11
  发表了文章 2024-09-14 09:27:11

  LLM数学性能暴涨168%，微软14人团队力作！合成数据2.0秘诀曝光，智能体生成教学

  【9月更文挑战第14天】微软研究团队发布了一篇介绍新型框架"AgentInstruct"的论文，该框架旨在通过自动生成高质量合成数据，推动语言模型发展。AgentInstruct仅需原始数据源即可创建多样化的合成数据，减少人工工作量。研究团队基于此框架构建了含2500万训练对的数据集，展示了其在多种技能教学中的潜力。经微调后的Mistral-7b模型演进为Orca-3，在多个基准测试中显著超越同类模型。尽管如此，AgentInstruct仍面临创建流程耗时及合成数据复杂性不足等问题。论文详情见：https://arxiv.org/pdf/2407.03502
• 09.14 09:26:38
  发表了文章 2024-09-14 09:26:38

  世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！

  【9月更文挑战第14天】麻省理工学院最近的研究揭示了大型语言模型（LLM）展现出的新潜能，其不仅能模仿真实环境，更在一定程度上理解并模拟程序在特定环境下的运作。通过使用Transformer模型并结合特定探测分类器，研究团队发现模型能逐步掌握程序的形式语义。为了验证这一发现，团队创建了一个独特的干预基准测试，进一步证实了模型的仿真能力，为世界模型的发展提供了新方向。尽管存在模型可能仅习得统计规律而非真正理解语义的争议，这项研究依然为理解复杂系统提供了新工具与视角。论文详情见：https://arxiv.org/abs/2305.11169。
• 09.13 09:56:11
  发表了文章 2024-09-13 09:56:11

  10人明星团队炼出首个微调Llama 3.1 405B！角色扮演一秒入戏，代码全开源

  【9月更文挑战第13天】近日，由十位明星研究员组成的团队成功微调了Llama 3.1 405B 模型，推出名为Hermes 3的先进开源模型，在多个基准测试中表现卓越。Hermes 3采用“聊天”训练范式，具备强大的推理和创造能力，能更好地响应命令性陈述，使用户更容易与其互动并获得有用信息。此外，该模型支持系统提示和工具使用功能，使其在处理复杂任务时更加高效。尽管Hermes 3在多种合成推理任务和创造性应用中表现出色，但作为微调模型，其性能受限于基础模型，并且开源特性可能带来安全性和隐私性方面的挑战。论文详见[nousresearch.com]。
• 09.13 09:56:05
  发表了文章 2024-09-13 09:56:05

  机器人策略学习的Game Changer？伯克利提出Body Transformer

  【9月更文挑战第13天】加州大学伯克利分校的研究团队提出了一种名为Body Transformer（BoT）的创新架构，旨在通过将机器人的物理形态建模为传感器和执行器组成的图，并利用掩码注意力机制汇聚信息，为机器人学习策略提供有效归纳偏置。BoT不仅在模仿学习和强化学习中表现出色，在任务完成、缩放特性及计算效率方面超越传统架构，而且具备更强的稳定性和泛化能力。尽管存在适用范围和计算资源等局限性，BoT仍展示了在实际应用中的巨大潜力。论文详情见：https://arxiv.org/pdf/2408.06316v1
• 09.13 09:55:57
  发表了文章 2024-09-13 09:55:57

  大模型终端部署新趋势：硬件直接支持混合矩阵乘法

  【9月更文挑战第13天】Jianyu Wei等人提出的T-MAC（Table Lookup for Low-Bit LLM Deployment on Edge）通过查表方法提升低位宽大语言模型在CPU上的推理效率，解决了现有系统对混合精度矩阵乘法支持不足的问题。T-MAC无需解量化即可直接支持mpGEMM，消除了乘法运算并减少加法运算，提高了计算效率和可扩展性。实验显示，T-MAC在低位宽的Llama和BitNet模型上表现优异，吞吐量提升4倍，能耗降低70%，在资源受限设备如Raspberry Pi 5上也能达到超过成人平均阅读速度的11 tokens/s。
• 09.12 08:51:30
  发表了文章 2024-09-12 08:51:30

  一文看懂Mamba，Transformer最强竞争者

  【9月更文挑战第12天】Mamba是一种创新的深度学习架构，旨在解决Transformer处理长序列时计算成本高昂的问题。通过借鉴状态空间模型，Mamba实现了近线性的可扩展性，同时保持了强大的建模能力。其核心在于动态调整状态演化的选择机制，有效过滤无关信息。Mamba还引入了硬件感知计算算法，进一步提升计算效率。已在自然语言处理、计算机视觉等多个领域取得卓越成果，展现出广阔的应用前景。然而，其复杂的选择机制和训练优化仍需克服。论文详情参见：[链接](https://arxiv.org/pdf/2408.01129)。
• 09.12 08:51:23
  发表了文章 2024-09-12 08:51:23

  从头设计抗体，腾讯、北大团队预训练大语言模型登Nature子刊

  【9月更文挑战第12天】近年来，抗体药物在生物医药领域展现出巨大潜力，但其高昂的研发成本和漫长周期成为瓶颈。为此，腾讯与北京大学合作开发了PALM-H3，这是一种基于预训练大语言模型的创新抗体设计方法。PALM-H3将抗体序列视为语言，利用Roformer模型学习其生成规律，实现从头设计高亲和力抗体，不依赖自然抗体，大幅提高研发效率和灵活性。此外，该方法还可广泛应用于疫苗设计和蛋白质工程等领域，加速新药上市。然而，确保抗体体内稳定性和安全性仍是挑战。论文详见：https://www.nature.com/articles/s41467-024-50903-y
• 09.12 08:51:16
  发表了文章 2024-09-12 08:51:16

  给RAG系统做一次全面体检，亚马逊开源RAGChecker诊断工具

  【9月更文挑战第12天】近年来，检索增强生成（RAG）系统因能有效利用外部知识而备受关注，但其评估仍具挑战性。为此，亚马逊AWS AI和上海交大的研究团队提出了RagChecker，这是一种细粒度评估框架，通过主张级别蕴涵检查来诊断RAG系统的检索和生成模块。RagChecker包含整体、诊断检索器和诊断生成器指标，全面评估系统性能。研究表明，RagChecker与人类判断相关性更高，并揭示了RAG架构设计的关键模式。尽管如此，该方法在计算资源和系统可解释性方面仍有局限。
• 09.11 15:57:49
  发表了文章 2024-09-11 15:57:49

  首个全自动科学发现AI系统，Transformer作者创业公司Sakana AI推出AI Scientist

  【9月更文挑战第11天】Sakana AI公司近日推出全球首个全自动科学发现AI系统——AI Scientist，实现了人工智能在科学研究领域的重大突破。AI Scientist不仅能独立完成从假设提出到实验设计、数据分析及论文撰写的全过程，还能通过模拟评审提升研究成果的质量。该系统已成功应用于机器学习的多个子领域，并产出达到顶级会议标准的论文。尽管其高效性备受赞誉，但也引发了关于研究可信度和潜在风险的讨论。Sakana AI强调，系统具备可追溯的决策过程与严格的评审机制，确保了研究的可靠性和透明度。论文详情参见：[链接]。
• 09.11 15:57:40
  发表了文章 2024-09-11 15:57:40

  Nature子刊：基于内生复杂性，自动化所新类脑网络构筑人工智能与神经科科学的桥梁

  【9月更文挑战第11天】中国科学院自动化研究所的研究人员提出了一种基于内生复杂性的新型类脑网络模型，通过模拟人脑内部神经元间的复杂互动来提升AI系统的智能与适应性。此模型利用图神经网络(GNN)并设计分层图结构对应人脑不同功能区，引入自适应机制根据输入数据调整结构。实验表明，此模型在图像分类及自然语言处理等任务中表现出显著提升的性能，并且处理复杂数据时更具备适应性和鲁棒性。论文链接：https://www.nature.com/articles/s43588-024-00674-9。
• 09.11 15:57:29
  发表了文章 2024-09-11 15:57:29

  DeepSeek开源数学大模型，高中、大学定理证明新SOTA

  【9月更文挑战第11天】DeepSeek团队近日发布了开源数学大模型DeepSeek-Prover-V1.5，在高中和大学级别的定理证明任务上取得SOTA成果。该模型基于语言模型，通过优化训练和推理流程，在多个基准测试集中表现优异。它引入了RMaxTS变体以生成多样化证明路径，并结合大规模数学预训练、在线强化学习等技术，显著提升了性能。尽管如此，该模型在更复杂问题及计算资源需求方面仍面临挑战。[报告链接](https://arxiv.org/pdf/2408.08152)。
• 09.10 15:31:23
  发表了文章 2024-09-10 15:31:23

  两个小模型互相验证，直接比肩大模型？微软的rStar甚至没用CoT和微调

  【9月更文挑战第10天】微软研究院亚洲院与哈佛大学研究团队提出了rStar，一种创新的方法，旨在提升小型语言模型（SLMs）的推理能力。rStar采用自我对弈的相互生成-判别过程，利用增强版蒙特卡洛树搜索（MCTS）算法生成高质量推理轨迹，并由另一个相似能力的SLM验证这些轨迹的一致性。这种方法在多个模型与任务中显著提升了推理准确率，如在GSM8K上，LLaMA2-7B的准确率从12.51%跃升至63.91%。rStar的独特之处在于无需微调或依赖更强大的模型即可提升推理能力。然而，其计算成本和对SLM自身能力的依赖仍是挑战。
• 09.10 15:31:07
  发表了文章 2024-09-10 15:31:07

  英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强

  【9月更文挑战第10天】《通过剪枝和知识蒸馏实现紧凑型语言模型》由英伟达研究人员撰写，介绍了一种创新方法，通过剪枝和知识蒸馏技术将大型语言模型参数数量减半，同时保持甚至提升性能。该方法首先利用剪枝技术去除冗余参数，再通过知识蒸馏从更大模型转移知识以优化性能。实验结果显示，该方法能显著减少模型参数并提升性能，但可能需大量计算资源且效果因模型和任务而异。
• 09.10 15:30:59
  发表了文章 2024-09-10 15:30:59

  LG开源韩语大模型Exaone 3.0，8万亿token训练数据

  【9月更文挑战第10天】韩国电子巨头LG旗下的AI研究机构近日宣布，已成功开发并开源了专为韩语设计的大模型Exaone 3.0，成为人工智能领域的又一里程碑。该模型基于8万亿token的数据训练而成，在多个基准测试中表现出色，尤其在理解和生成韩语方面。作为LG首款开源大型语言模型，Exaone 3.0将促进开放研究与技术创新，推动AI发展。尽管存在计算资源和多语言适应性等挑战，其发布仍为AI领域带来新机遇。论文详情见[这里](https://arxiv.org/abs/2408.03541)。
• 09.09 10:13:07
  发表了文章 2024-09-09 10:13:07

  数十年来首次取得进展，陶哲轩高徒、赵宇飞高徒突破组合数学难题

  【9月更文挑战第9天】数十年来，组合数学领域面临诸多未解难题，而近期由陶哲轩与赵宇飞弟子领导的研究团队在Szemerédi定理改进方面取得了突破性进展。这一成果尤其针对k≥5的情况，不仅推进了理论认知，更为解决更高阶的Szemerédi定理提供了新思路。尽管仍有待完善之处，但该研究为组合数学带来了新的希望与方法。论文已发布于[此处](https://arxiv.org/pdf/2402.17995)。
• 09.09 10:13:00
  发表了文章 2024-09-09 10:13:00

  同时操控手机和电脑，100项任务，跨系统智能体评测基准有了

  【9月更文挑战第9天】近年来，随着人工智能技术的进步，自主智能体的应用日益广泛。为解决现有评测基准的局限性，研究人员推出了CRAB（Cross-environment Agent Benchmark），这是一种支持跨环境任务的新框架，结合了基于图的精细评估方法和高效的任务构建机制。CRAB框架支持多种设备并可轻松扩展至任何具备Python接口的环境。首个跨平台基准CRAB-v0包含100项任务，实验显示GPT-4单智能体在完成率方面表现最佳。CRAB框架为智能体研究提供了新机遇，但也面临计算资源和评估准确性等方面的挑战。
• 09.09 10:12:43
  发表了文章 2024-09-09 10:12:43

  没有等来OpenAI开源GPT-4o，等来了开源版VITA

  【9月更文挑战第9天】近日，论文《Towards Open-Source Interactive Omni Multimodal LLM》介绍了VITA，一种基于Mixtral 8×7B的新型开源多模态大语言模型，能处理视频、图像、文本和音频等多模态数据，并提供先进的人机交互体验，填补了开源模型在多模态能力上的空白。经多任务学习及指令微调，VITA在多个基准测试中表现出色，但仍存在基础能力和嘈杂音频处理等方面的局限。更多详情见论文：https://arxiv.org/pdf/2408.05211
• 09.08 07:14:52
  发表了文章 2024-09-08 07:14:52

  Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新Scaling Law诞生？

  【9月更文挑战第8天】在人工智能领域，理查德·萨顿提出了一项重要观点，即利用通用计算方法最终是最有效的途径，这一理念在诸如计算机象棋、围棋、语音识别及视觉等多个子领域中得到了验证。萨顿强调，计算能力的指数增长使得依赖大量计算的技术更加吸引人，并且从长远来看，计算能力将是唯一重要的因素。尽管他的观点强调了搜索和学习方法的力量，但也有人批评其忽略了领域知识和其他因素的重要性。
• 09.08 07:14:43
  发表了文章 2024-09-08 07:14:43

  Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入

  【9月更文挑战第8天】《自然》杂志近日揭露，学术出版商如泰勒·弗朗西斯与微软签订千万美元合约，及威利获高额报酬，将论文提供给科技巨头训练AI模型，引发学界对版权与收益分配的热议。此现象反映了AI对高质量数据的渴求，但亦使研究人员担忧成果被无偿商用，且可能影响学术独立性。尽管AI训练使用学术资源能提升模型科学性，助力科研进展，但如何保障作者权益及维持学术纯粹性仍是亟待解决的问题。https://www.nature.com/articles/d41586-024-02599-9
• 09.08 07:14:35
  发表了文章 2024-09-08 07:14:35

  首个像人类一样思考的网络！Nature子刊：AI模拟人类感知决策

  【9月更文挑战第8天】近日，《自然》子刊发表的一篇关于RTNet神经网络的论文引起广泛关注。RTNet能模拟人类感知决策思维，其表现与人类相近，在反应时间和准确率上表现出色。这项研究证明了神经网络可模拟人类思维方式，为人工智能发展带来新启示。尽管存在争议，如是否真正理解人类思维机制以及潜在的伦理问题，但RTNet为人工智能技术突破及理解人类思维机制提供了新途径。论文详细内容见《自然》官网。
• 09.07 12:01:56
  发表了文章 2024-09-07 12:01:56

  CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源

  【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
• 09.07 12:01:48
  发表了文章 2024-09-07 12:01:48

  AI数据荒雪上加霜！MIT：网页数据的公开共享正走向衰落

  【9月更文挑战第7天】麻省理工学院的一项新研究表明，尽管人工智能（AI）领域迅速发展，但网页数据的公开共享正在减少，加剧了AI数据短缺的问题。AI模型训练依赖大量数据，而网页数据是关键来源之一，其共享减少将影响AI进步，并引发数据隐私和安全方面的担忧。然而，这也推动了对数据隐私保护的关注及新型数据获取方式的探索。研究详情参见：[论文链接](https://www.dataprovenance.org/consent-in-crisis-paper)。
• 09.07 12:01:40
  发表了文章 2024-09-07 12:01:40

  2B多模态新SOTA！华科、华南理工发布Mini-Monkey，专治切分增大分辨率后遗症

  【9月更文挑战第7天】华中科技大学与华南理工大学联合发布了一款名为Mini-Monkey的2B参数多模态大语言模型，采用多尺度自适应裁剪策略（MSAC）和尺度压缩机制（SCM），在高分辨率图像处理方面取得突破，尤其在文档理解上超越了8B参数的SOTA模型InternVL2-8B。Mini-Monkey仅需8张RTX 3090显卡即可完成训练，展现出高效性能，但处理复杂图像场景时仍存局限。论文详情见：https://arxiv.org/pdf/2408.02034。
• 09.06 08:06:33
  发表了文章 2024-09-06 08:06:33

  比Stable Diffusion便宜118倍！1890美元训出11.6亿参数高质量文生图模型

  【9月更文挑战第6天】最近，一篇论文在AI领域引起广泛关注，展示了如何以极低成本训练高质量文本生成图像（T2I）模型。研究者通过随机遮蔽图像中75%的patch并采用延迟遮蔽策略，大幅降低计算成本，同时结合Mixture-of-Experts（MoE）层提升性能。最终，他们仅用1890美元就训练出了一个拥有11.6亿参数的模型，在COCO数据集上取得12.7的FID分数。这一成果比Stable Diffusion成本低118倍，为资源有限的研究人员提供了新途径。尽管如此，该方法在其他数据集上的表现及进一步降低成本的可行性仍需验证。
• 09.06 08:06:18
  发表了文章 2024-09-06 08:06:18

  首个支持普通话和方言混说的TTS大模型：河南话、上海话、粤语说得溜

  【9月更文挑战第6天】近年来，人工智能技术的进步推动了文本到语音（TTS）系统的高质量语音生成能力。针对现有TTS系统在中文方言生成上的不足，研究人员开发了Bailing-TTS模型。此模型利用大规模数据集与连续半监督学习方法，结合特定的Transformer架构及多阶段训练流程，实现了自然流畅的方言语音合成。实验结果显示，Bailing-TTS在客观和主观测试中均能生成接近真实的人类发音，并具备零样本学习能力。尽管仍面临复杂方言质量和多样性等挑战，但Bailing-TTS为中文方言语音合成提供了新的可能，并有望在未来技术发展中发挥更大作用。
• 09.06 08:06:08
  发表了文章 2024-09-06 08:06:08

  ECCV 2024：南洋理工三维数字人生成新范式：结构扩散模型

  【9月更文挑战第6天】南洋理工大学团队提出了一种名为StructLDM的新型三维数字人生成方法，旨在克服现有技术在图像合成质量、细节捕捉及人体结构建模等方面的不足。该方法通过结构化潜在空间、结构化3D感知解码器及结构化潜在扩散模型三项关键技术，实现了高质量的三维数字人生成与编辑，并在多个数据集上展示了卓越的性能和多样性。未来研究将进一步提升模型的鲁棒性和泛化能力。论文预计在ECCV 2024上展示。论文地址：https://arxiv.org/pdf/2404.01241。