楠竹11_社区达人页

2024年09月

• 09.17 07:24:10
  发表了文章 2024-09-17 07:24:10

  谷歌将大模型集成在实体机器人中，能看、听、说执行57种任务

  【9月更文挑战第17天】近年来，人工智能在多模态大模型领域取得显著进展。谷歌最新研发的Mobility VLA系统，将大模型与实体机器人结合，实现了视觉、语言和行动的融合，使机器人能理解并执行复杂多模态指令，如“我应该把这个放回哪里？”系统在真实环境测试中表现出色，但在计算资源、数据需求及伦理问题上仍面临挑战。相关论文发布于https://arxiv.org/abs/2407.07775。
• 09.17 07:24:02
  发表了文章 2024-09-17 07:24:02

  CIKM 2024：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图

  【9月更文挑战第17天】在CIKM 2024会议上，Emory大学的研究人员提出了一种创新框架，将大型语言模型（LLM）的知识蒸馏到图神经网络（GNN）中，以克服文本图（TAGs）学习中的数据稀缺问题。该方法通过LLM生成文本推理，并训练解释器模型理解这些推理，再用学生模型模仿此过程。实验显示，在四个数据集上性能平均提升了6.2%，但依赖于LLM的质量和高性能。论文链接：https://arxiv.org/pdf/2402.12022
• 09.17 07:23:54
  发表了文章 2024-09-17 07:23:54

  GPT-4无师自通预测蛋白质结构登Nature子刊！LLM全面进军生物学，AlphaFold被偷家?

  【9月更文挑战第17天】近日，《自然》子刊发表的一篇论文展示了GPT-4在预测蛋白质结构方面的惊人能力，这一突破不仅揭示了大型语言模型在生物学领域的巨大潜力，还可能影响传统预测工具如AlphaFold的地位。研究人员发现，GPT-4仅通过自然语言处理就能准确预测蛋白质的三维结构，包括常见的氨基酸序列和复杂的α-螺旋结构。实验结果显示，其预测精度与实际结构非常接近。这一成果意味着自然语言处理技术也可应用于生物学研究，但同时也引发了关于其局限性和对现有工具影响的讨论。论文详情见：https://www.nature.com/articles/s41598-024-69021-2
• 09.16 07:04:26
  发表了文章 2024-09-16 07:04:26

  谷歌通过数据增强、对比调优，减少多模态模型幻觉

  【9月更文挑战第16天】谷歌研究人员针对多模态大语言模型（MLLMs）中的幻觉问题，提出了一种结合数据增强与对比调优的新方法，旨在减少模型生成错误信息的情况。该方法通过生成式数据增强制造幻觉标记并与真实标记对比，利用对比损失优化模型参数，从而提升模型对真实信息的辨识能力。实验结果显示，此方法能显著降低对象幻觉现象，但在模拟复杂现实场景及计算需求方面仍面临挑战。相关研究已发布在论文《通过数据增强的对比调优减轻对象幻觉》中。
• 09.16 07:04:19
  发表了文章 2024-09-16 07:04:19

  KDD 2024：Emory提出最新PolygonGNN框架：可捕捉通用多边形内外的空间关系

  【9月更文挑战第16天】近年来，多边形表示学习在形状编码、建筑模式分类和地理问答等应用中至关重要。然而，现有研究多聚焦于单个多边形，忽视了多边形间复杂关系。为解决此问题，Emory大学团队提出了PolygonGNN框架，通过异质可见性图整合内外关系，并引入异质生成树采样提升计算效率。该框架设计了旋转平移不变的几何表示，适用于多种场景。实验结果显示，PolygonGNN在多个任务上表现优异，但在处理大规模场景时仍面临计算复杂度挑战，并未充分考虑拓扑结构和语义信息的影响。
• 09.16 07:04:12
  发表了文章 2024-09-16 07:04:12

  Nature：AI让抄袭问题更加复杂，科学家该如何应对？

  【9月更文挑战第16天】《自然》杂志一篇文章指出，AI在科研领域的应用日益增长，带来了加速数据处理、提升计算效率等益处，同时也引发了对科学标准、数据偏见及研究诚信的挑战。一项针对1600多名研究人员的调查显示，超半数认为未来十年AI将成为其研究领域不可或缺的工具。AI能够显著提升科研效率，但也可能增加对模式识别的依赖，加剧数据偏见，并引发研究不可重复性等问题。尤其是大型语言模型如ChatGPT，虽有助于改进论文语法和翻译，但也可能传播错误信息。此外，部分科学家面临计算资源和高质量数据不足等使用障碍。
• 09.15 07:37:34
  发表了文章 2024-09-15 07:37:34

  多模态模型评测框架lmms-eval发布！全面覆盖，低成本，零污染

  【9月更文挑战第15天】LMMS-EVAL 是一项由多家研究机构联合开发的多模态模型评测框架，旨在为大型多模态模型提供全面、低成本且零污染的评测基准。该框架包含超过50个任务和10多个模型，覆盖图像分类、目标检测、语音识别等多个领域，使研究人员能够在有限资源下轻松评估和比较模型性能。通过利用实时更新的数据源，LMMS-EVAL 还确保了模型在真实世界中的泛化能力。论文地址: https://arxiv.org/abs/2407.12772
• 09.15 07:37:24
  发表了文章 2024-09-15 07:37:24

  支持1024帧、准确率近100％，英伟达LongVILA开始发力长视频

  【9月更文挑战第15天】近年来，随着人工智能技术的发展，长视频的理解与处理成为研究热点。针对长视频对模型长上下文能力的高要求，NVIDIA提出了综合性解决方案LongVILA，涵盖系统设计、模型训练及数据集开发。其MM-SP系统在多GPU环境下大幅提升训练速度；五阶段训练流程逐步增强模型理解能力；大规模数据集支持多阶段训练。LongVILA成功将VILA模型帧数扩展至1024，并显著提升了长视频字幕得分，但在计算成本和实际应用准确性方面仍面临挑战。
• 09.15 07:37:17
  发表了文章 2024-09-15 07:37:17

  AI设计自己，代码造物主已来！UBC华人一作首提ADAS，数学能力暴涨25.9%

  【9月更文挑战第15天】近年来，人工智能领域取得了显著进展，但智能体系统的设计仍需大量人力与专业知识。为解决这一问题，UBC研究人员提出了“自动智能体系统设计（ADAS）”新方法，通过基于代码的元智能体实现智能体系统的自动化设计与优化。实验结果表明，ADAS设计的智能体在多个领域中表现优异，尤其在阅读理解和数学任务上取得了显著提升。尽管如此，ADAS仍面临安全性、可扩展性和效率等挑战，需进一步研究解决。论文详情见链接：https://arxiv.org/pdf/2408.08435。
• 09.14 09:27:30
  发表了文章 2024-09-14 09:27:30

  浙大李玺团队：指代表达理解新方法，ScanFormer粗到细迭代消除视觉冗余

  【9月更文挑战第14天】近年来，人工智能的迅猛发展推动了计算机视觉与自然语言处理交叉领域的研究，其中指代表达理解任务备受关注。REC的目标是在图像中根据自然语言描述定位目标对象。然而，现有方法因密集感知图像而导致计算开销大。为此，浙江大学李玺团队提出了ScanFormer，一种迭代感知框架，通过自顶向下的方式逐步提取与语言相关的视觉块，并通过信息性预测丢弃不相关部分，有效减少冗余，提升模型效率。实验表明，ScanFormer在多个基准数据集上表现优异，实现了准确性和效率的良好平衡。不过，它目前仅支持单目标定位，且在某些场景下可能不如其他方法精确。
• 09.14 09:27:11
  发表了文章 2024-09-14 09:27:11

  LLM数学性能暴涨168%，微软14人团队力作！合成数据2.0秘诀曝光，智能体生成教学

  【9月更文挑战第14天】微软研究团队发布了一篇介绍新型框架"AgentInstruct"的论文，该框架旨在通过自动生成高质量合成数据，推动语言模型发展。AgentInstruct仅需原始数据源即可创建多样化的合成数据，减少人工工作量。研究团队基于此框架构建了含2500万训练对的数据集，展示了其在多种技能教学中的潜力。经微调后的Mistral-7b模型演进为Orca-3，在多个基准测试中显著超越同类模型。尽管如此，AgentInstruct仍面临创建流程耗时及合成数据复杂性不足等问题。论文详情见：https://arxiv.org/pdf/2407.03502
• 09.14 09:26:38
  发表了文章 2024-09-14 09:26:38

  世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！

  【9月更文挑战第14天】麻省理工学院最近的研究揭示了大型语言模型（LLM）展现出的新潜能，其不仅能模仿真实环境，更在一定程度上理解并模拟程序在特定环境下的运作。通过使用Transformer模型并结合特定探测分类器，研究团队发现模型能逐步掌握程序的形式语义。为了验证这一发现，团队创建了一个独特的干预基准测试，进一步证实了模型的仿真能力，为世界模型的发展提供了新方向。尽管存在模型可能仅习得统计规律而非真正理解语义的争议，这项研究依然为理解复杂系统提供了新工具与视角。论文详情见：https://arxiv.org/abs/2305.11169。
• 09.13 09:56:11
  发表了文章 2024-09-13 09:56:11

  10人明星团队炼出首个微调Llama 3.1 405B！角色扮演一秒入戏，代码全开源

  【9月更文挑战第13天】近日，由十位明星研究员组成的团队成功微调了Llama 3.1 405B 模型，推出名为Hermes 3的先进开源模型，在多个基准测试中表现卓越。Hermes 3采用“聊天”训练范式，具备强大的推理和创造能力，能更好地响应命令性陈述，使用户更容易与其互动并获得有用信息。此外，该模型支持系统提示和工具使用功能，使其在处理复杂任务时更加高效。尽管Hermes 3在多种合成推理任务和创造性应用中表现出色，但作为微调模型，其性能受限于基础模型，并且开源特性可能带来安全性和隐私性方面的挑战。论文详见[nousresearch.com]。
• 09.13 09:56:05
  发表了文章 2024-09-13 09:56:05

  机器人策略学习的Game Changer？伯克利提出Body Transformer

  【9月更文挑战第13天】加州大学伯克利分校的研究团队提出了一种名为Body Transformer（BoT）的创新架构，旨在通过将机器人的物理形态建模为传感器和执行器组成的图，并利用掩码注意力机制汇聚信息，为机器人学习策略提供有效归纳偏置。BoT不仅在模仿学习和强化学习中表现出色，在任务完成、缩放特性及计算效率方面超越传统架构，而且具备更强的稳定性和泛化能力。尽管存在适用范围和计算资源等局限性，BoT仍展示了在实际应用中的巨大潜力。论文详情见：https://arxiv.org/pdf/2408.06316v1
• 09.13 09:55:57
  发表了文章 2024-09-13 09:55:57

  大模型终端部署新趋势：硬件直接支持混合矩阵乘法

  【9月更文挑战第13天】Jianyu Wei等人提出的T-MAC（Table Lookup for Low-Bit LLM Deployment on Edge）通过查表方法提升低位宽大语言模型在CPU上的推理效率，解决了现有系统对混合精度矩阵乘法支持不足的问题。T-MAC无需解量化即可直接支持mpGEMM，消除了乘法运算并减少加法运算，提高了计算效率和可扩展性。实验显示，T-MAC在低位宽的Llama和BitNet模型上表现优异，吞吐量提升4倍，能耗降低70%，在资源受限设备如Raspberry Pi 5上也能达到超过成人平均阅读速度的11 tokens/s。
• 09.12 08:51:30
  发表了文章 2024-09-12 08:51:30

  一文看懂Mamba，Transformer最强竞争者

  【9月更文挑战第12天】Mamba是一种创新的深度学习架构，旨在解决Transformer处理长序列时计算成本高昂的问题。通过借鉴状态空间模型，Mamba实现了近线性的可扩展性，同时保持了强大的建模能力。其核心在于动态调整状态演化的选择机制，有效过滤无关信息。Mamba还引入了硬件感知计算算法，进一步提升计算效率。已在自然语言处理、计算机视觉等多个领域取得卓越成果，展现出广阔的应用前景。然而，其复杂的选择机制和训练优化仍需克服。论文详情参见：[链接](https://arxiv.org/pdf/2408.01129)。
• 09.12 08:51:23
  发表了文章 2024-09-12 08:51:23

  从头设计抗体，腾讯、北大团队预训练大语言模型登Nature子刊

  【9月更文挑战第12天】近年来，抗体药物在生物医药领域展现出巨大潜力，但其高昂的研发成本和漫长周期成为瓶颈。为此，腾讯与北京大学合作开发了PALM-H3，这是一种基于预训练大语言模型的创新抗体设计方法。PALM-H3将抗体序列视为语言，利用Roformer模型学习其生成规律，实现从头设计高亲和力抗体，不依赖自然抗体，大幅提高研发效率和灵活性。此外，该方法还可广泛应用于疫苗设计和蛋白质工程等领域，加速新药上市。然而，确保抗体体内稳定性和安全性仍是挑战。论文详见：https://www.nature.com/articles/s41467-024-50903-y
• 09.12 08:51:16
  发表了文章 2024-09-12 08:51:16

  给RAG系统做一次全面体检，亚马逊开源RAGChecker诊断工具

  【9月更文挑战第12天】近年来，检索增强生成（RAG）系统因能有效利用外部知识而备受关注，但其评估仍具挑战性。为此，亚马逊AWS AI和上海交大的研究团队提出了RagChecker，这是一种细粒度评估框架，通过主张级别蕴涵检查来诊断RAG系统的检索和生成模块。RagChecker包含整体、诊断检索器和诊断生成器指标，全面评估系统性能。研究表明，RagChecker与人类判断相关性更高，并揭示了RAG架构设计的关键模式。尽管如此，该方法在计算资源和系统可解释性方面仍有局限。
• 09.11 16:05:04
  回答了问题 2024-09-11 16:05:04

  99元云服务器，你最pick哪种新玩法？

  赞9 踩0 评论0
• 09.11 15:57:49
  发表了文章 2024-09-11 15:57:49

  首个全自动科学发现AI系统，Transformer作者创业公司Sakana AI推出AI Scientist

  【9月更文挑战第11天】Sakana AI公司近日推出全球首个全自动科学发现AI系统——AI Scientist，实现了人工智能在科学研究领域的重大突破。AI Scientist不仅能独立完成从假设提出到实验设计、数据分析及论文撰写的全过程，还能通过模拟评审提升研究成果的质量。该系统已成功应用于机器学习的多个子领域，并产出达到顶级会议标准的论文。尽管其高效性备受赞誉，但也引发了关于研究可信度和潜在风险的讨论。Sakana AI强调，系统具备可追溯的决策过程与严格的评审机制，确保了研究的可靠性和透明度。论文详情参见：[链接]。
• 09.11 15:57:40
  发表了文章 2024-09-11 15:57:40

  Nature子刊：基于内生复杂性，自动化所新类脑网络构筑人工智能与神经科科学的桥梁

  【9月更文挑战第11天】中国科学院自动化研究所的研究人员提出了一种基于内生复杂性的新型类脑网络模型，通过模拟人脑内部神经元间的复杂互动来提升AI系统的智能与适应性。此模型利用图神经网络(GNN)并设计分层图结构对应人脑不同功能区，引入自适应机制根据输入数据调整结构。实验表明，此模型在图像分类及自然语言处理等任务中表现出显著提升的性能，并且处理复杂数据时更具备适应性和鲁棒性。论文链接：https://www.nature.com/articles/s43588-024-00674-9。
• 09.11 15:57:29
  发表了文章 2024-09-11 15:57:29

  DeepSeek开源数学大模型，高中、大学定理证明新SOTA

  【9月更文挑战第11天】DeepSeek团队近日发布了开源数学大模型DeepSeek-Prover-V1.5，在高中和大学级别的定理证明任务上取得SOTA成果。该模型基于语言模型，通过优化训练和推理流程，在多个基准测试集中表现优异。它引入了RMaxTS变体以生成多样化证明路径，并结合大规模数学预训练、在线强化学习等技术，显著提升了性能。尽管如此，该模型在更复杂问题及计算资源需求方面仍面临挑战。[报告链接](https://arxiv.org/pdf/2408.08152)。
• 09.10 15:31:23
  发表了文章 2024-09-10 15:31:23

  两个小模型互相验证，直接比肩大模型？微软的rStar甚至没用CoT和微调

  【9月更文挑战第10天】微软研究院亚洲院与哈佛大学研究团队提出了rStar，一种创新的方法，旨在提升小型语言模型（SLMs）的推理能力。rStar采用自我对弈的相互生成-判别过程，利用增强版蒙特卡洛树搜索（MCTS）算法生成高质量推理轨迹，并由另一个相似能力的SLM验证这些轨迹的一致性。这种方法在多个模型与任务中显著提升了推理准确率，如在GSM8K上，LLaMA2-7B的准确率从12.51%跃升至63.91%。rStar的独特之处在于无需微调或依赖更强大的模型即可提升推理能力。然而，其计算成本和对SLM自身能力的依赖仍是挑战。
• 09.10 15:31:07
  发表了文章 2024-09-10 15:31:07

  英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强

  【9月更文挑战第10天】《通过剪枝和知识蒸馏实现紧凑型语言模型》由英伟达研究人员撰写，介绍了一种创新方法，通过剪枝和知识蒸馏技术将大型语言模型参数数量减半，同时保持甚至提升性能。该方法首先利用剪枝技术去除冗余参数，再通过知识蒸馏从更大模型转移知识以优化性能。实验结果显示，该方法能显著减少模型参数并提升性能，但可能需大量计算资源且效果因模型和任务而异。
• 09.10 15:30:59
  发表了文章 2024-09-10 15:30:59

  LG开源韩语大模型Exaone 3.0，8万亿token训练数据

  【9月更文挑战第10天】韩国电子巨头LG旗下的AI研究机构近日宣布，已成功开发并开源了专为韩语设计的大模型Exaone 3.0，成为人工智能领域的又一里程碑。该模型基于8万亿token的数据训练而成，在多个基准测试中表现出色，尤其在理解和生成韩语方面。作为LG首款开源大型语言模型，Exaone 3.0将促进开放研究与技术创新，推动AI发展。尽管存在计算资源和多语言适应性等挑战，其发布仍为AI领域带来新机遇。论文详情见[这里](https://arxiv.org/abs/2408.03541)。
• 09.09 10:13:07
  发表了文章 2024-09-09 10:13:07

  数十年来首次取得进展，陶哲轩高徒、赵宇飞高徒突破组合数学难题

  【9月更文挑战第9天】数十年来，组合数学领域面临诸多未解难题，而近期由陶哲轩与赵宇飞弟子领导的研究团队在Szemerédi定理改进方面取得了突破性进展。这一成果尤其针对k≥5的情况，不仅推进了理论认知，更为解决更高阶的Szemerédi定理提供了新思路。尽管仍有待完善之处，但该研究为组合数学带来了新的希望与方法。论文已发布于[此处](https://arxiv.org/pdf/2402.17995)。
• 09.09 10:13:00
  发表了文章 2024-09-09 10:13:00

  同时操控手机和电脑，100项任务，跨系统智能体评测基准有了

  【9月更文挑战第9天】近年来，随着人工智能技术的进步，自主智能体的应用日益广泛。为解决现有评测基准的局限性，研究人员推出了CRAB（Cross-environment Agent Benchmark），这是一种支持跨环境任务的新框架，结合了基于图的精细评估方法和高效的任务构建机制。CRAB框架支持多种设备并可轻松扩展至任何具备Python接口的环境。首个跨平台基准CRAB-v0包含100项任务，实验显示GPT-4单智能体在完成率方面表现最佳。CRAB框架为智能体研究提供了新机遇，但也面临计算资源和评估准确性等方面的挑战。
• 09.09 10:12:43
  发表了文章 2024-09-09 10:12:43

  没有等来OpenAI开源GPT-4o，等来了开源版VITA

  【9月更文挑战第9天】近日，论文《Towards Open-Source Interactive Omni Multimodal LLM》介绍了VITA，一种基于Mixtral 8×7B的新型开源多模态大语言模型，能处理视频、图像、文本和音频等多模态数据，并提供先进的人机交互体验，填补了开源模型在多模态能力上的空白。经多任务学习及指令微调，VITA在多个基准测试中表现出色，但仍存在基础能力和嘈杂音频处理等方面的局限。更多详情见论文：https://arxiv.org/pdf/2408.05211
• 09.08 07:14:52
  发表了文章 2024-09-08 07:14:52

  Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新Scaling Law诞生？

  【9月更文挑战第8天】在人工智能领域，理查德·萨顿提出了一项重要观点，即利用通用计算方法最终是最有效的途径，这一理念在诸如计算机象棋、围棋、语音识别及视觉等多个子领域中得到了验证。萨顿强调，计算能力的指数增长使得依赖大量计算的技术更加吸引人，并且从长远来看，计算能力将是唯一重要的因素。尽管他的观点强调了搜索和学习方法的力量，但也有人批评其忽略了领域知识和其他因素的重要性。
• 09.08 07:14:43
  发表了文章 2024-09-08 07:14:43

  Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入

  【9月更文挑战第8天】《自然》杂志近日揭露，学术出版商如泰勒·弗朗西斯与微软签订千万美元合约，及威利获高额报酬，将论文提供给科技巨头训练AI模型，引发学界对版权与收益分配的热议。此现象反映了AI对高质量数据的渴求，但亦使研究人员担忧成果被无偿商用，且可能影响学术独立性。尽管AI训练使用学术资源能提升模型科学性，助力科研进展，但如何保障作者权益及维持学术纯粹性仍是亟待解决的问题。https://www.nature.com/articles/d41586-024-02599-9
• 09.08 07:14:35
  发表了文章 2024-09-08 07:14:35

  首个像人类一样思考的网络！Nature子刊：AI模拟人类感知决策

  【9月更文挑战第8天】近日，《自然》子刊发表的一篇关于RTNet神经网络的论文引起广泛关注。RTNet能模拟人类感知决策思维，其表现与人类相近，在反应时间和准确率上表现出色。这项研究证明了神经网络可模拟人类思维方式，为人工智能发展带来新启示。尽管存在争议，如是否真正理解人类思维机制以及潜在的伦理问题，但RTNet为人工智能技术突破及理解人类思维机制提供了新途径。论文详细内容见《自然》官网。
• 09.07 12:01:56
  发表了文章 2024-09-07 12:01:56

  CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源

  【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
• 09.07 12:01:48
  发表了文章 2024-09-07 12:01:48

  AI数据荒雪上加霜！MIT：网页数据的公开共享正走向衰落

  【9月更文挑战第7天】麻省理工学院的一项新研究表明，尽管人工智能（AI）领域迅速发展，但网页数据的公开共享正在减少，加剧了AI数据短缺的问题。AI模型训练依赖大量数据，而网页数据是关键来源之一，其共享减少将影响AI进步，并引发数据隐私和安全方面的担忧。然而，这也推动了对数据隐私保护的关注及新型数据获取方式的探索。研究详情参见：[论文链接](https://www.dataprovenance.org/consent-in-crisis-paper)。
• 09.07 12:01:40
  发表了文章 2024-09-07 12:01:40

  2B多模态新SOTA！华科、华南理工发布Mini-Monkey，专治切分增大分辨率后遗症

  【9月更文挑战第7天】华中科技大学与华南理工大学联合发布了一款名为Mini-Monkey的2B参数多模态大语言模型，采用多尺度自适应裁剪策略（MSAC）和尺度压缩机制（SCM），在高分辨率图像处理方面取得突破，尤其在文档理解上超越了8B参数的SOTA模型InternVL2-8B。Mini-Monkey仅需8张RTX 3090显卡即可完成训练，展现出高效性能，但处理复杂图像场景时仍存局限。论文详情见：https://arxiv.org/pdf/2408.02034。
• 09.06 08:06:33
  发表了文章 2024-09-06 08:06:33

  比Stable Diffusion便宜118倍！1890美元训出11.6亿参数高质量文生图模型

  【9月更文挑战第6天】最近，一篇论文在AI领域引起广泛关注，展示了如何以极低成本训练高质量文本生成图像（T2I）模型。研究者通过随机遮蔽图像中75%的patch并采用延迟遮蔽策略，大幅降低计算成本，同时结合Mixture-of-Experts（MoE）层提升性能。最终，他们仅用1890美元就训练出了一个拥有11.6亿参数的模型，在COCO数据集上取得12.7的FID分数。这一成果比Stable Diffusion成本低118倍，为资源有限的研究人员提供了新途径。尽管如此，该方法在其他数据集上的表现及进一步降低成本的可行性仍需验证。
• 09.06 08:06:18
  发表了文章 2024-09-06 08:06:18

  首个支持普通话和方言混说的TTS大模型：河南话、上海话、粤语说得溜

  【9月更文挑战第6天】近年来，人工智能技术的进步推动了文本到语音（TTS）系统的高质量语音生成能力。针对现有TTS系统在中文方言生成上的不足，研究人员开发了Bailing-TTS模型。此模型利用大规模数据集与连续半监督学习方法，结合特定的Transformer架构及多阶段训练流程，实现了自然流畅的方言语音合成。实验结果显示，Bailing-TTS在客观和主观测试中均能生成接近真实的人类发音，并具备零样本学习能力。尽管仍面临复杂方言质量和多样性等挑战，但Bailing-TTS为中文方言语音合成提供了新的可能，并有望在未来技术发展中发挥更大作用。
• 09.06 08:06:08
  发表了文章 2024-09-06 08:06:08

  ECCV 2024：南洋理工三维数字人生成新范式：结构扩散模型

  【9月更文挑战第6天】南洋理工大学团队提出了一种名为StructLDM的新型三维数字人生成方法，旨在克服现有技术在图像合成质量、细节捕捉及人体结构建模等方面的不足。该方法通过结构化潜在空间、结构化3D感知解码器及结构化潜在扩散模型三项关键技术，实现了高质量的三维数字人生成与编辑，并在多个数据集上展示了卓越的性能和多样性。未来研究将进一步提升模型的鲁棒性和泛化能力。论文预计在ECCV 2024上展示。论文地址：https://arxiv.org/pdf/2404.01241。
• 09.05 08:02:17
  发表了文章 2024-09-05 08:02:17

  数百万晶体数据训练、解决晶体学相位问题，深度学习方法PhAI登Science

  【9月更文挑战第5天】近期，《科学》杂志报道了一项名为PhAI的深度学习技术，在晶体学相位问题上取得重要突破。相位问题旨在确定晶体中分子或原子的位置与方向，对理解其物理化学特性至关重要。PhAI通过数百万晶体数据训练，能高效准确地解决这一难题，有望大幅提升研究效率，加速新材料和药物的设计。但其准确性及对未知结构处理能力仍面临挑战。论文详情参见：https://www.science.org/doi/10.1126/science.adn2777。
• 09.05 08:02:07
  发表了文章 2024-09-05 08:02:07

  ACL 2024 Oral：我们离真正的多模态思维链推理还有多远？

  【9月更文挑战第5天】近年来，多模态思维链推理（MCoT）受到广泛关注，但现有基准仍面临诸多挑战。为此，研究人员提出了M$^3$CoT基准，旨在推动多领域、多步骤、多模态的推理能力发展。M$^3$CoT涵盖科学、数学等多个领域，要求模型进行多步骤推理，并结合文本和视觉信息。尽管当前视觉大语言模型（VLLMs）在M$^3$CoT上的表现不佳，但该基准为MCoT的发展提供了新机遇，未来可从模型改进、数据增强及知识融合等方面进行探索。论文详情见：https://arxiv.org/abs/2405.16473。
• 09.05 08:01:59
  发表了文章 2024-09-05 08:01:59

  给视频模型安上快慢两只眼睛，苹果免训练新方法秒了一切SOTA

  【9月更文挑战第5天】近年来，视频大型语言模型（LLM）在计算机视觉领域取得显著进展，但高昂的监督微调成本成为瓶颈。苹果研究人员提出了免训练的SF-LLaVA模型，采用慢流（捕捉空间语义）和快流（捕捉时序上下文）的双流设计，能高效处理视频中的静态与动态信息，显著提升了开放性视频问答、多选视频问答及文本生成等任务的表现。然而，该模型在复杂视频场景理解和特定任务泛化能力方面仍有局限。论文详见：https://arxiv.org/pdf/2407.15841
• 09.04 14:29:58
  回答了问题 2024-09-04 14:29:58

  全天候24小时无所不知AI助手是如何炼成的？

  赞44 踩0 评论0
• 09.04 08:16:23
  发表了文章 2024-09-04 08:16:23

  黑匣子被打开了！能玩的Transformer可视化解释工具，本地运行GPT-2、还可实时推理

  【9月更文挑战第4天】Transformer Explainer是一款基于网页的交互式可视化工具，专为帮助用户理解复杂的Transformer模型而设计。通过多层次抽象、实时推理及互动实验，以及无需安装即可使用的便捷性，此工具选取GPT-2作为教学模型，降低了学习门槛并提升了教育普及度。用户可以通过输入自定义文本观察预测过程，深入了解内部组件的工作原理。此外，它还减少了认知负荷，增强了互动学习体验。未来，该工具将在复杂性管理和性能优化方面继续改进，并通过用户研究进一步提升功能和可用性。[论文地址：https://arxiv.org/pdf/2408.04619]
• 09.04 08:16:13
  发表了文章 2024-09-04 08:16:13

  上海科大等开源创新模型：文本生成精美3D服装

  【9月更文挑战第4天】上海科技大学等机构近期开源了DressCode模型，可根据文本描述生成精美的3D服装，相关成果已发表于论文《DressCode: Autoregressively Sewing and Generating Garments from Text Guidance》。DressCode采用SewingGPT架构，结合GPT与交叉注意力机制，生成与文本匹配的缝纫模式，并利用预训练的稳定扩散模型生成逼真的PBR纹理。这不仅简化了服装设计流程，还提升了虚拟试穿和数字人创建的可能性。研究显示，DressCode在服装质量和一致性方面超越现有技术，具有广泛应用潜力。
• 09.04 08:16:01
  发表了文章 2024-09-04 08:16:01

  阿里发布轨迹可控的DiT视频生成模型—Tora

  【9月更文挑战第4天】阿里团队在视频生成领域取得了重要突破，推出了名为Tora的新模型。Tora基于Diffusion Transformer框架，旨在克服现有模型在物体运动控制上的局限。该模型整合了文本、视觉和轨迹条件，通过轨迹提取器、时空DiT和运动引导融合器三大组件，实现了高质量且运动一致的视频生成。Tora在多个基准数据集上表现出色，尤其在高运动保真度方面领先。然而，其应用仍需大量计算资源，并主要聚焦于可控轨迹视频生成。论文详情见：https://arxiv.org/abs/2407.21705
• 09.03 11:06:39
  发表了文章 2024-09-03 11:06:39

  2.5天完成1年的MD计算？DeepMind团队基于欧几里得Transformer的新计算方法

  【9月更文挑战第3天】DeepMind团队提出了一种基于欧几里得Transformer的新型计算方法，通过机器学习技术大幅提升了分子动力学（MD）模拟的效率和稳定性。此方法利用ML模型预测分子系统的势能面，减少了传统MD模拟中的计算开销。相比传统方法，它不仅显著加快了模拟速度，还提高了稳定性和准确性，并且具有广泛的适用性，可在材料科学和生物学等多个领域推动科学研究的进步。论文详细内容见[此处](https://www.nature.com/articles/s41467-024-50620-6)。尽管如此，该方法仍需更多数据支持及准确性验证。
• 09.03 11:06:31
  发表了文章 2024-09-03 11:06:31

  开闭源模型大乱斗：看看哪个智能体最能窥见人类真实意图

  【9月更文挑战第3天】在人工智能领域，理解并执行用户意图是一大挑战。现有模型常因用户模糊指令而难以捕捉真实需求。为此，研究人员提出了“Intention-in-Interaction”（IN3）基准，通过显式查询检验隐式意图，引入Mistral-Interact模型评估任务模糊性、询问并细化用户意图，最终执行任务。该方法显著提升了智能体的理解和执行能力，但依然面临评估主观性、用户信息提供不足及复杂任务处理等挑战。论文详情见：https://arxiv.org/abs/2402.09205
• 09.03 11:06:24
  发表了文章 2024-09-03 11:06:24

  混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合

  【9月更文挑战第3天】在人工智能领域，多模态学习备受关注。Meta AI提出了一种名为模态感知型专家混合（MoMa）的新架构，通过模态特定的专家模块组合处理图像和文本，提升了多模态早期融合语言模型的预训练效率。MoMa在1万亿令牌训练下，实现了3.7倍的FLOPs节省，优于标准混合专家方案。尽管存在因果推理性能和负载平衡方面的局限性，MoMa仍为多模态预训练提供了高效新方法。论文详细内容见：https://arxiv.org/pdf/2407.21770
• 09.02 08:47:47
  发表了文章 2024-09-02 08:47:47

  21.5万张X光，78万个问题！德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA

  【9月更文挑战第2天】近年来，人工智能在医学领域的应用取得显著进展，特别是医学视觉问答（VQA）技术。德州大学与美国国立卫生研究院（NIH）联合发布的Medical-CXR-VQA数据集包含21.5万张X光图像和78万个问题，是当前最大的医学VQA数据集之一。其多样化的问题类型和高质量的标注，为研究者提供了丰富资源，推动医学视觉问答技术的发展。该数据集的开放共享促进了领域内的合作与交流，并有望提升临床诊断和病情评估的效率与质量，成为医学人工智能领域的重要里程碑。然而，数据隐私、标注一致性和模型可解释性等问题仍需进一步解决。
• 09.02 08:47:38
  发表了文章 2024-09-02 08:47:38

  CMU清华教LLM练成数学高手，LeanSTaR训练模型边思考边证明，登顶新SOTA

  【9月更文挑战第2天】卡内基梅隆大学与清华大学的研究团队开发出名为LeanSTaR的语言模型，该模型结合形式化验证与机器学习技术，在数学证明上取得了重大突破，实现了类似人类数学家的思考和证明能力。这一成果不仅提升了数学证明任务的性能，尤其在复杂推理方面表现突出，还为数学研究和教育提供了有力支持。论文详细内容可访问 https://arxiv.org/abs/2407.10040。
• 09.02 08:47:27
  发表了文章 2024-09-02 08:47:27

  多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准

  【9月更文挑战第2天】浙江大学领衔的研究团队针对多模态大型模型（MLLM）在抽象图像理解和视觉推理上的不足，提出了一种利用GPT-4合成数据构建多模态基准的方法。该研究通过合成数据提高了MLLM处理图表、文档等复杂图像的能力，并构建了一个包含11,193条指令的基准，涵盖8种视觉场景。实验表明，这种方法能显著提升模型性能，但依赖闭源模型和高计算成本是其局限。论文详细内容见：https://arxiv.org/pdf/2407.07053