语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力

来自 AI21 Labs 这项研究表明,微调通常是一种不必要的浪费,关键是找到站在大型冻结语言模型的肩膀上的最佳方式。


目前,优化给定 NLP 任务性能的最佳方法通常是微调预训练语言模型 (LM)。然而这样做的一个副作用是,其他任务的性能会随之下降。
近年来,巨型预训练语言模型 (LM) 在各种任务中展示出了令人惊讶的零样本能力,使得众多研究者产生这样一个愿景,即单一的、多功能模型可以在不同的应用程序中得到广泛应用。然而,当前领先的冻结(frozen)LM 技术,即保持模型权重不变,性能却不如以任务相关方式修改权重的微调方法。反过来,如果研究者能够忍受模型遗忘与损害多功能性,还需要考虑性能和多功能性之间的权衡。

来自 AI21 Labs 的研究者撰文《 STANDING ON THE SHOULDERS OF GIANT FROZEN LANGUAGE MODELS 》,论文的主要信息是,当前的冻结模型技术(例如 prompt tuning)只是冰山一角,那些更强大的方法利用冻结 LM 技术可以在具有挑战性的领域中进行微调,而不会牺牲底层模型的多功能性

为了证明这一点,作者介绍了三种利用冻结模型的新方法:依赖输入提示调优(input-dependent prompt tuning);冻结阅读器(frozen readers);循环语言模型(recursive LM),每种方法都大大改进了当前的冻结模型方法。事实上,作者的部分方法甚至在目前其主导的领域中优于微调方法。每种方法的计算成本都高于现有的冻结模型方法,但相对于单次通过一个巨大的冻结 LM 仍然可以忽略不计。这些方法中的每一种本身都构成了有意义的贡献,但是通过将这些贡献放在一起,该研究旨在让读者相信一个更广泛的信息,该信息超出了任何给定方法的细节:冻结模型具有未开发的潜力,微调通常是不必要的。


论文地址:https://arxiv.org/pdf/2204.10019.pdf

一般来讲,对大型 LM 进行微调通常可以获得出色的性能,但这种方法训练代价昂贵。这篇论文表明,存在一个更好的替代方案:冻结一个单一的、巨大的预训练 LM,并学习更小的神经模块,可将 LM 专门用于不同的任务。
更重要的是,这项研究表明可以将大型 LM 应用于实际问题,在这个阶段中,特定任务的神经中间模块的设计将会取代微调。其结果将是,微调通常是一种不必要的浪费,而关键是找到站在大型冻结语言模型的肩膀上的最佳方式。

依赖输入提示调优

本节中,研究者提出了一种称为依赖输入提示调优 (ID-PT) 方法,可用于在保持冻结状态的同时对 LM 进行大规模多任务处理。ID-PT 用来训练一个非常小的外部网络,该网络接收来自众多精选数据集之一作为输入,并动态创建一个神经提示,使冻结的 LM 为处理这个输入做好准备(参见图 1)。

该研究使用 Sanh 等人的训练集进行了实验,并与他们的模型进行比较,这两者都是公开可用的。该研究在冻结了 7B 参数 的 J1-Large 模型上执行了 ID-PT,并在仅对一半的训练示例进行训练后达到了 Sanh 等人的微调 11B 参数 T0++ 模型的性能。这表明无需微调,LM 也能取得较好的结果。维护和服务单个冻结的 LM 作为主干,并执行 ID-PT 以在不同的任务套件上对其进行外部调整。此外,正如在后面部分中展示的那样,这启用了一个新的工作流程,通过部署单个巨大的 LM 来支持各种不同的 NLP 应用程序。


ID-PT 架构如图 2 所示,它由 3 个组件组成:(1)冻结基于 T5 的编码器;(2) 一个学习提示,用于在提示生成器中提示调优冻结 T5 编码器的功能(总共 330K 学习参数);(3) 一个学习的交叉注意力网络,将 T5 编码器的可变长度输出序列(长度等于输入 x 的长度)转换为固定长度的提示 p (x)。


表 1 显示了每个任务集群以及跨数据集的 ID-PT + J1-Large 和 T0++ 的平均测试集分数。这两个模型看起来相当,在一些任务集群上表现出较小的性能差异,而另一些则表现出更高的方差:ID-PT + J1-Large 在情感和释义任务集群中表现更好,而 T0++ 在结构 - 文本和摘要任务集群中优于 ID-PT + J1-Large。总体而言,ID-PT + J1-Large 在跨数据集的测试分数平均值中略超过 T0++ 的表现。


图 3 显示了该研究在训练期间不同点观察到的 ID-PT + J1-Large 的平均开发集分数:


冻结阅读器

依赖于小型检索增强阅读器的一个固有缺点是,它们没有大型 LM 的世界知识或推理能力。因此,需要将强大的监督学习检索与大型 LM 结合。为了解决这个问题,该研究使用了一个外部重排序(external re-ranking)模块,以增加在适合冻结 LM 的上下文窗口的少量通道中获得答案的机会。虽然检索器相关性分数是根据问题和段落的单独密集表示来计算的,但重排序器会在联合处理问题和文章后预测每个文档的相关性分数。提示调优冻结的 LM 以从出现在其上下文中的重排序的文档中提取答案。


表 2 显示了在将文档打包到 LM 的上下文窗口中时使用重排序器的实用性。当使用 DPR 作为检索系统时,该研究将 LM 输入的召回率(即答案出现在冻结 LM 的上下文窗口中的问题的百分比)从 77.2% 提高了 到 80.4%,从而将下游性能(通过精确匹配衡量)提高 2.1 个百分点(从 46.6% 到 48.7%)。同样,该研究观察到在利用 Spider+BM25 等更强大的检索器时,重新排名可以获得显著收益。


表 3 显示了该系统在 NQ 测试集上与各种生成基线对比结果。冻结 J1-Grande-17B 阅读器获得了最好的结果,超越 FiD 模型得分。


总体来说,该结果表明巨大的冻结语言模型可作为 ODQA 的优秀阅读器,也不会落后于更精细的、突出的、经过微调的阅读器。

将循环应用于冻结 LM 模型

现有的基于 Transformer 的 LM 的应用程序只通过 LM 运行一次给定输入。尽管这是一种很自然的选择,在大部分其他 DNN 应用程序中,研究者从 LM 设计模式的差异中找到了机会。由于 LM 的输入和输出空间都使用的是自然语言,而且由于相同的 LM 可以提供多种功能,因此原则上可以将 LM 重新应用到自己的输出中,这种操作被称为「LM 循环」。

在这一部分,研究者提出了两种不同的方法将该思路付诸实践(图 5),并给出了实验证据,证明每一种方法都可以产生显著的收益。在第 4.1 节中,提供了一种文本方法,其中输出文本在第一次通过冻结 LM 并重新插入相同的冻结 LM 之后进行采样。在第 4.2 节中,提出了一种神经方法,在这种方法中,一个可训练的小型网络通过相同的冻结 LM 将冻结 LM 输出处的向量表征映射到下一次迭代的向量表征输入。


图 5: (a) Prompt 调优使一次通过冻结的 LM;(b) 文本循环 LM 方法 (Section 4.1) 使用冻结的 LM 一次采样 n 个候选答案,然后再次采样正确的答案;(c) 神经循环 LM 方法 (Section 4.2) 涉及一个训练好的连接器,该连接器将第一个 LM 关口的输出嵌入转换为第二个 LM 关口的输入嵌入。蓝色表示「冻结」,未经训练的模块;橙色代表训练过的模块。

在 closed-book 设置的开放域问答上,研究者评估了 LM 循环方法,其中重点关注了 Natural Questions benchmark (Kwiatkowski et al., 2019)。研究者用 7B 参数的 LM J1-Large 进行了实验,结果表明,通过模型的两次迭代,这两种方法都比传统的冻结模型方法(只使用一次冻结模型)获得了实质性收益,而且神经循环 LM 的性能优于文本循环 LM。

值得注意的是,通过两次迭代 7B 参数模型,神经循环 LM 模型接近了 17B 参数 LMJ1-Grande 单次通过的性能。

通过循环地将 LM 应用于其自身的输出来提高性能,这一前景有可能变成为服务于 LM 的商业化游戏规则改变者。如果一个 LM 在某项任务上的表现不令人满意,现有的垂直性能改进就是预训练一个更大的 LM。然而,预训练越来越大的 LM 很快就变得昂贵起来,而且即使在评估时间部署巨大的模型也是昂贵的。此外,只有在某些任务或任务中的某些输入时才需要改进性能。通过在自身输出上重新应用现有的 LM 进行改进,只需要单次前向通过成本的一半,或者在需要时获得双倍的计算量,这是一个比预训练更集中、成本更低的选择,并部署一个规模为原来两倍的模型。

更多研究细节可参考原论文。

相关文章
|
机器学习/深度学习 设计模式 自然语言处理
语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力
语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力
203 0
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
揭开模型微调Fine-Tuning的神秘面纱:如何在预训练基础上巧妙调整,解锁定制AI解决方案的秘密武器
【10月更文挑战第8天】模型微调是在预训练模型基础上,利用特定领域数据进一步训练,以优化模型在特定任务上的表现。此方法广泛应用于自然语言处理和计算机视觉等领域,通过调整预训练模型的部分或全部参数,结合适当的正则化手段,有效提升模型性能。例如,使用Hugging Face的Transformers库对BERT模型进行微调,以改善文本匹配任务的准确率。
157 1
|
机器学习/深度学习 人工智能 自然语言处理
Meta实习生让AI「调教」AI?ResNet-50无需训练,2400万参数秒级预测
Meta实习生让AI「调教」AI?ResNet-50无需训练,2400万参数秒级预测
209 0
|
人工智能 自然语言处理 物联网
解锁ChatGLM-6B的潜力:优化大语言模型训练,突破任务困难与答案解析难题
解锁ChatGLM-6B的潜力:优化大语言模型训练,突破任务困难与答案解析难题
解锁ChatGLM-6B的潜力:优化大语言模型训练,突破任务困难与答案解析难题
|
8月前
|
自然语言处理
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
DeepSeek R1-Zero 是一款基于纯强化学习的开源推理模型,无需监督微调数据,支持多任务泛化与自我进化,适用于数学推理、代码生成等场景。
558 21
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
|
机器学习/深度学习 人工智能 算法
如果能在1分钟内训练出个AI模型,你想要什么?
随着人工智能的技术不断成熟,AI逐渐在各行业内落地,比如:在常见的安防监控领域,我们可以通过人脸识别去抓捕逃犯;在教育领域,我们可以使用OCR识别做拍题识别;在新零售领域,我们通过物体识别判断货品位置和数量;甚至在养猪场,我们都能用AI技术检测养猪的位置及数量。
1865 0
如果能在1分钟内训练出个AI模型,你想要什么?
|
7月前
|
机器学习/深度学习 人工智能 算法
AI Native应用中基于用户反馈的动态模型微调机制
【8月更文第1天】在AI Native应用程序中,用户体验和满意度是衡量产品成功的关键指标之一。为了提高这些指标,本文介绍了一种基于用户反馈的动态模型微调机制。这种方法允许模型在运行时根据用户的实际行为和偏好进行自我调整,从而不断优化其性能。
1153 5
|
18天前
|
人工智能 JSON PyTorch
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%
TPO(Test-Time Prompt Optimization)框架,通过奖励模型和迭代反馈优化大语言模型输出,无需训练即可显著提升性能,支持动态对齐人类偏好,降低优化成本。
176 8
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%

热门文章

最新文章