计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02(下)

简介: 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02(下)

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02(上)+https://developer.aliyun.com/article/1628929

实验效果:

  • 在多个数据集和不同LLM家族及模型大小的标准基准测试中,我们的方法在困惑度和零样本准确度方面均优于现有结构化剪枝基线。
  • 例如,在WikiText2数据集上,与LLM-Pruner和SliceGPT相比,我们的方法在80%继承比率下分别将困惑度提高了4.15和1.65。
  • 在不同继承比率下,我们的方法在减少GPU内存使用和加速推理方面表现出色。

重要数据与结论:

实验表明,我们提出的方法在多个数据集和不同LLM家族中均优于现有的结构化剪枝方法。此外,我们在GPU上实现了显著的内存减少和推理加速,证明了我们方法的效率。

推荐阅读指数:

★★★★☆

推荐理由:

这篇文章提出了一种创新的方法来优化大型语言模型的架构,以实现更高效的内存使用和推理速度。它通过结合架构搜索和权重重构,成功地提高了模型性能,同时减少了资源消耗。

4. Post-hoc Reward Calibration: A Case Study on Length Bias

Authors: Zeyu Huang, Zihan Qiu, Zili Wang, Edoardo M. Ponti, Ivan Titov

https://arxiv.org/abs/2409.17407

事后奖励校准:以长度偏差为例的研究

摘要:

本文介绍了一种新的框架——事后奖励校准(Post-hoc Reward Calibration, PoT),旨在增强大型语言模型(LLMs)的鲁棒性和可解释性。通过将人类反馈转化为训练信号来优化LLM行为的奖励模型(RM)可能会因为训练数据中的虚假相关性而产生偏差,例如基于长度或风格而非真实质量来偏好输出。这些偏差可能导致错误的输出排名、次优模型评估,并在LLMs的对齐过程中放大不良行为。本文提出了一种无需额外数据和训练即可校正这些偏差的方法。

研究背景:

人类反馈强化学习(RLHF)通过将人类偏好整合到训练循环中,使模型与期望的行为和价值观对齐。在这个过程中,奖励模型(RM)是关键组成部分,它将人类反馈转化为优化LLMs的信号。然而,RM可能会利用训练数据中的虚假相关性,导致偏差。

问题与挑战:

RM可能会因为训练数据中的虚假相关性而产生偏差,例如偏好更长的输出或特定风格,而不是基于输出的真实质量。这些偏差可能导致错误的输出排名和次优模型评估。

如何解决:

本文提出了事后奖励校准(PoT),这是一种无需额外数据和训练即可校正RM偏差的方法。通过估计偏差项并将其移除,从而近似真实的奖励。

创新点:

  1. 提出了一种直观的方法来估计偏差项,并据此校准奖励信号。
  2. 引入局部加权回归(Locally Weighted Regression, LWR)来更一般和鲁棒地估计偏差。
  3. 针对普遍存在的长度偏差进行了验证,并通过三个实验设置展示了一致的改进。

算法模型:

PoT框架首先使用LLM生成分析报告,然后通过自定义解释器将其转换为一阶逻辑构造,供定理证明器检查。核心是一种基于JSON的领域特定语言(DSL),平衡了精确的逻辑结构和直观的人类概念。

实验效果:

  • 在RewardBench数据集上,33个奖励模型的平均性能提升了3.11。
  • 在AlpacaEval基准测试中,与GPT-4评估和人类偏好的一致性得到了增强。
  • 在多个LLM-RM组合中,RLHF过程的长度控制胜率得到了提高。

重要数据与结论:

实验结果表明,PoT方法在多个基准测试中取得了显著的性能提升,并且在不同的实验设置中显示出一致的改进。

推荐阅读指数:★★★★☆

推荐理由:

这篇文章提出了一种创新的方法来校准奖励模型中的偏差,特别是在没有额外数据和训练的情况下。这对于希望提高LLMs性能和可靠性的研究者和工程师来说非常有价值。此外,文章还提供了详细的实验结果和消融研究,有助于读者深入理解该方法的有效性和适用性。

5. MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models

Authors: Gongfan Fang, Hongxu Yin, Saurav Muralidharan, Greg Heinrich, Jeff

Pool, Jan Kautz, Pavlo Molchanov, Xinchao Wang

https://arxiv.org/abs/2409.17481

MaskLLM: 面向大型语言模型的可学习半结构化稀疏性

摘要:

大型语言模型(LLMs)因其庞大的参数数量而著称,这通常导致显著的冗余。本文介绍了MaskLLM,这是一种可学习的剪枝方法,它在LLMs中建立了半结构化(或称为“N:M”)稀疏性,旨在减少推理过程中的计算开销。MaskLLM不是开发新的重要性标准,而是通过Gumbel Softmax采样,将N:M模式显式地建模为可学习分布。这种方法便于在大规模数据集上进行端到端训练,并提供两个显著优势:1)高质量的掩码 - 方法有效地扩展到大型数据集并学习准确的掩码;2)可转移性 - 掩码分布的概率建模使得稀疏性能够跨域或任务进行迁移学习。我们在各种LLMs上评估了MaskLLM,包括LLaMA-2、Nemotron-4和GPT-3,参数量从843M到15B不等,实验结果表明,与现有技术相比,我们的方法在标准基准测试中有显著改进。

研究背景:

大型语言模型(LLMs)在各个领域的人工智能研究中表现出色。然而,它们的计算和存储成本限制了LLMs在多种设备上的部署。为了解决这些挑战,已经开发了各种压缩技术,包括权重剪枝、量化和知识蒸馏。

问题与挑战:

尽管通过优化权重来压缩LLMs的方法取得了进展,但这些方法通常集中于权重优化,忽视了对最优架构的探索。此外,传统的架构搜索方法由于复杂性高和参数众多,在LLMs上的应用受到限制。

如何解决:

提出了一种无需训练的架构搜索框架,通过计算权重的重要性来发现LLMs内部的高效LLM架构。首先确定一个合适的初始架构,然后应用基于进化的算法全局搜索高效子网。

创新点:

  1. 提出了一种可学习方法,通过在大规模数据集上进行端到端训练来学习准确的掩码。
  2. 提出了一种掩码重构算法,通过仅使用少量的校准数据来修正继承的权重,从而提高子网的有效性。
  3. 引入了先验掩码的概念,允许通过迁移学习快速跨域或任务转移稀疏性。

算法模型:

MaskLLM框架包括三个关键组件:搜索初始化、搜索流程和权重重构。首先,基于权重重要性构建初始有效架构,然后使用基于进化的搜索方法进行全面搜索,最后引入重构方法在不重新训练的情况下通过前向传递改进子网性能。

算法伪代码:

实验效果:

  • 在WikiText2数据集上,与现有技术相比,我们的方法在保持参数冻结的情况下,实现了显著更低的困惑度(PPL)。
  • 在多个LLM家族和大小的模型上,我们的方法在多个基准测试中显示出优于现有技术的稀疏性压缩性能。

重要数据与结论:

实验结果表明,MaskLLM方法在多个基准测试中取得了显著的性能提升,并且在不同的实验设置中显示出一致的改进。

推荐阅读指数:

★★★★☆

推荐理由:

这篇文章提出了一种创新的方法来优化大型语言模型的架构,以实现更高效的内存使用和推理速度。它通过结合架构搜索和权重重构,成功地提高了模型性能,同时减少了资源消耗。

6. Human Mobility Modeling with Limited Information via Large Language Models

Authors: Yifan Liu, Xishun Liao, Haoxuan Ma, Brian Yueshuai He, Chris Stanford, and Jiaqi Ma

https://arxiv.org/abs/2409.17495

通过大型语言模型在有限信息的情况下对人类移动性进行建模

摘要:

理解人类移动模式在交通建模领域一直是一个复杂的挑战。传统的基于活动的模型和基于学习的人类移动建模算法受到数据集的可用性和质量的限制。此外,当前的研究主要集中在空间-时间旅行模式上,而缺乏对活动之间语义信息的理解,这对于模拟活动之间的相互依赖性至关重要。在本文中,我们提出了一个创新的大型语言模型(LLM)支持的人类移动建模框架。我们的方法显著减少了对详细人类移动统计数据的依赖,利用个体的基本社会人口统计信息来生成他们的日常移动模式。我们使用NHTS和SCAGABM数据集验证了我们的结果,证明了我们的框架在不同地理位置的有效建模和强大的适应性。

研究背景:

准确生成人类移动模式对于交通系统、城市规划、公共卫生政策和零售策略等领域有着深远的影响。传统的基于活动模型(ABMs)通过模拟基于个体和家庭社会经济特征的日常活动来塑造我们对人类移动的理解。然而,ABMs需要大量的本地数据输入,并依赖于对人类活动模式和经济行为的众多假设。

问题与挑战:

现有的基于学习的方法依赖于从移动设备或社交媒体平台收集的大量数据集,这些方法的有效性依赖于数据的量和质量。这些方法的挑战包括对公民移动数据的大量需求,这引发了隐私问题,以及难以适应城市环境的突然变化。

如何解决:

提出了一种基于大型语言模型(LLM)的框架,利用个体的社会人口统计信息来生成他们的日常活动链。该方法减少了对高质量训练数据集的依赖,使用基本的社会人口统计信息来生成日常移动模式。

创新点:

  1. 展示了LLMs仅使用个体的社会人口统计信息和地区的可访问统计数据来生成基于位置的移动模式的能力。
  2. 引入了一种语义方法来解决移动模式生成问题,相比于传统的基于位置的轨迹生成方法,提供了更具可解释性的人类移动建模。
  3. 首次使用LLMs进行活动链生成任务,这种创新使用LLMs的方法为模拟复杂行为模式提供了新的可能性。

算法模型:

该框架利用LLMs的强大推理和生成能力,通过提供社会人口统计信息来生成代表个体日常活动序列的活动链。该方法利用LLMs对复杂序列的理解能力,生成具有强解释性和依赖性的活动链。

实验效果:

  • 在NHTS和SCAG数据集上的实验结果显示,该方法在模拟移动模式方面具有有效性,并且与GPT-4评估和人类偏好的一致性得到了增强。
  • 在不同的地理位置和不同的数据集上,该方法显示出强大的适应性和准确性。

重要数据与结论:

  • 使用LLMs,该方法在不需要大量历史数据和对人类行为的假设的情况下,成功地生成了准确的活动链。
  • 在与NHTS数据集的比较中,Jensen-Shannon Divergence (JSD)最低为0.011,显示了与实际数据的高度一致性。

推荐阅读指数:

★★★★☆

推荐理由:

这篇文章提出了一种创新的方法,使用大型语言模型来模拟人类移动性,这对于城市规划、交通系统设计和智能城市应用等领域的研究者和实践者来说非常有价值。


后记

如果您对我的博客内容感兴趣,欢迎三连击(点赞,关注和评论),我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习,计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

目录
相关文章
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习:探索未来的技术边界
【10月更文挑战第18天】 在这篇文章中,我们将深入探讨人工智能(AI)和机器学习(ML)的基础知识、应用领域以及未来趋势。通过对比分析,我们将揭示这些技术如何改变我们的生活和工作方式,并预测它们在未来可能带来的影响。文章旨在为读者提供一个全面而深入的理解,帮助他们更好地把握这一领域的发展趋势。
|
4天前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能与未来医疗:AI技术如何重塑医疗健康领域###
【10月更文挑战第21天】 一场由AI驱动的医疗革命正在悄然发生,它以前所未有的速度和深度改变着我们对于疾病预防、诊断、治疗及健康管理的认知。本文探讨了AI在医疗领域的多维度应用,包括精准医疗、药物研发加速、远程医疗普及以及患者个性化治疗体验的提升,揭示了这场技术变革背后的深远意义与挑战。 ###
24 6
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能的无限可能:技术前沿与应用实践
【10月更文挑战第23天】探索人工智能的无限可能:技术前沿与应用实践
|
3天前
|
人工智能 算法 自动驾驶
人工智能的伦理困境:技术发展与社会责任的平衡
在人工智能(AI)技术飞速发展的今天,我们面临着一个前所未有的伦理困境。本文将探讨AI技术带来的挑战,以及如何在技术创新与社会责任之间找到平衡点。我们将从隐私保护、就业影响、算法偏见等方面进行分析,并提出相应的解决方案。
|
4天前
|
人工智能 算法
人工智能浪潮中的伦理困境:我们如何确保技术的道德发展?
【10月更文挑战第22天】在人工智能(AI)技术的迅猛发展中,伴随着巨大的潜力和便利性,也出现了众多伦理问题。从数据隐私到算法偏见,再到自动化带来的失业问题,AI的每一步进步都在考验着人类社会的道德底线。本文将探讨AI技术发展中的主要伦理问题,并讨论如何通过制定标准、教育和跨学科合作来确保AI技术的道德发展。
|
4天前
|
人工智能 算法 测试技术
探索人工智能的边界:从理论到实践的技术感悟###
一场意外的代码崩溃引发的技术觉醒 一次深夜的紧急修复,让我深刻体会到了算法优化与系统稳定性之间微妙的平衡。一行不起眼的代码错误,导致整个智能推荐系统瘫痪,这次经历促使我深入思考技术的本质和开发者的责任。本文将分享这一过程中的启示,并探讨如何通过技术创新来提升系统的鲁棒性和用户体验。 ###
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能:从基础到应用的技术之旅
【10月更文挑战第23天】探索人工智能:从基础到应用的技术之旅
|
4天前
|
机器学习/深度学习 人工智能 算法
人工智能在医疗诊断中的应用及其挑战
【10月更文挑战第22天】人工智能技术正逐渐渗透到我们生活的方方面面,尤其是在医疗领域,它展现出了巨大的潜力。从辅助医生进行疾病诊断到预测患者病情的发展,AI的应用正在改变着传统的医疗模式。然而,随之而来的是一系列挑战,包括数据隐私、算法偏见以及医患关系的重新定位等问题。本文将探讨AI在医疗诊断中的应用实例,并分析面临的主要挑战,以期对未来的医疗AI应用提供深入的见解和建议。
|
4天前
|
传感器 人工智能 自动驾驶
人工智能在自动驾驶汽车中的应用
【10月更文挑战第31天】人工智能在自动驾驶汽车中的应用是科技进步与汽车产业转型的产物。通过计算机视觉、雷达、LiDAR和超声波传感器等技术,自动驾驶汽车实现了精准感知;借助复杂AI算法,实现决策与控制、路径规划与导航。尽管面临技术成熟度、法规与伦理、公众接受度等挑战,但未来自动驾驶汽车有望在全球范围内实现商业化普及,彻底改变出行方式,提高道路安全,减少交通拥堵,促进绿色出行。
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能技术在金融领域的应用有哪些?
【10月更文挑战第16天】人工智能技术在金融领域的应用有哪些?
249 1

热门文章

最新文章