语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 语言模型的冰山一角:微调是不必要, AI21 Labs探索冻结模型未开发潜力

来自 AI21 Labs 这项研究表明,微调通常是一种不必要的浪费,关键是找到站在大型冻结语言模型的肩膀上的最佳方式。


目前,优化给定 NLP 任务性能的最佳方法通常是微调预训练语言模型 (LM)。然而这样做的一个副作用是,其他任务的性能会随之下降。
近年来,巨型预训练语言模型 (LM) 在各种任务中展示出了令人惊讶的零样本能力,使得众多研究者产生这样一个愿景,即单一的、多功能模型可以在不同的应用程序中得到广泛应用。然而,当前领先的冻结(frozen)LM 技术,即保持模型权重不变,性能却不如以任务相关方式修改权重的微调方法。反过来,如果研究者能够忍受模型遗忘与损害多功能性,还需要考虑性能和多功能性之间的权衡。

来自 AI21 Labs 的研究者撰文《 STANDING ON THE SHOULDERS OF GIANT FROZEN LANGUAGE MODELS 》,论文的主要信息是,当前的冻结模型技术(例如 prompt tuning)只是冰山一角,那些更强大的方法利用冻结 LM 技术可以在具有挑战性的领域中进行微调,而不会牺牲底层模型的多功能性

为了证明这一点,作者介绍了三种利用冻结模型的新方法:依赖输入提示调优(input-dependent prompt tuning);冻结阅读器(frozen readers);循环语言模型(recursive LM),每种方法都大大改进了当前的冻结模型方法。事实上,作者的部分方法甚至在目前其主导的领域中优于微调方法。每种方法的计算成本都高于现有的冻结模型方法,但相对于单次通过一个巨大的冻结 LM 仍然可以忽略不计。这些方法中的每一种本身都构成了有意义的贡献,但是通过将这些贡献放在一起,该研究旨在让读者相信一个更广泛的信息,该信息超出了任何给定方法的细节:冻结模型具有未开发的潜力,微调通常是不必要的。


论文地址:https://arxiv.org/pdf/2204.10019.pdf

一般来讲,对大型 LM 进行微调通常可以获得出色的性能,但这种方法训练代价昂贵。这篇论文表明,存在一个更好的替代方案:冻结一个单一的、巨大的预训练 LM,并学习更小的神经模块,可将 LM 专门用于不同的任务。
更重要的是,这项研究表明可以将大型 LM 应用于实际问题,在这个阶段中,特定任务的神经中间模块的设计将会取代微调。其结果将是,微调通常是一种不必要的浪费,而关键是找到站在大型冻结语言模型的肩膀上的最佳方式。

依赖输入提示调优

本节中,研究者提出了一种称为依赖输入提示调优 (ID-PT) 方法,可用于在保持冻结状态的同时对 LM 进行大规模多任务处理。ID-PT 用来训练一个非常小的外部网络,该网络接收来自众多精选数据集之一作为输入,并动态创建一个神经提示,使冻结的 LM 为处理这个输入做好准备(参见图 1)。

该研究使用 Sanh 等人的训练集进行了实验,并与他们的模型进行比较,这两者都是公开可用的。该研究在冻结了 7B 参数 的 J1-Large 模型上执行了 ID-PT,并在仅对一半的训练示例进行训练后达到了 Sanh 等人的微调 11B 参数 T0++ 模型的性能。这表明无需微调,LM 也能取得较好的结果。维护和服务单个冻结的 LM 作为主干,并执行 ID-PT 以在不同的任务套件上对其进行外部调整。此外,正如在后面部分中展示的那样,这启用了一个新的工作流程,通过部署单个巨大的 LM 来支持各种不同的 NLP 应用程序。


ID-PT 架构如图 2 所示,它由 3 个组件组成:(1)冻结基于 T5 的编码器;(2) 一个学习提示,用于在提示生成器中提示调优冻结 T5 编码器的功能(总共 330K 学习参数);(3) 一个学习的交叉注意力网络,将 T5 编码器的可变长度输出序列(长度等于输入 x 的长度)转换为固定长度的提示 p (x)。


表 1 显示了每个任务集群以及跨数据集的 ID-PT + J1-Large 和 T0++ 的平均测试集分数。这两个模型看起来相当,在一些任务集群上表现出较小的性能差异,而另一些则表现出更高的方差:ID-PT + J1-Large 在情感和释义任务集群中表现更好,而 T0++ 在结构 - 文本和摘要任务集群中优于 ID-PT + J1-Large。总体而言,ID-PT + J1-Large 在跨数据集的测试分数平均值中略超过 T0++ 的表现。


图 3 显示了该研究在训练期间不同点观察到的 ID-PT + J1-Large 的平均开发集分数:


冻结阅读器

依赖于小型检索增强阅读器的一个固有缺点是,它们没有大型 LM 的世界知识或推理能力。因此,需要将强大的监督学习检索与大型 LM 结合。为了解决这个问题,该研究使用了一个外部重排序(external re-ranking)模块,以增加在适合冻结 LM 的上下文窗口的少量通道中获得答案的机会。虽然检索器相关性分数是根据问题和段落的单独密集表示来计算的,但重排序器会在联合处理问题和文章后预测每个文档的相关性分数。提示调优冻结的 LM 以从出现在其上下文中的重排序的文档中提取答案。


表 2 显示了在将文档打包到 LM 的上下文窗口中时使用重排序器的实用性。当使用 DPR 作为检索系统时,该研究将 LM 输入的召回率(即答案出现在冻结 LM 的上下文窗口中的问题的百分比)从 77.2% 提高了 到 80.4%,从而将下游性能(通过精确匹配衡量)提高 2.1 个百分点(从 46.6% 到 48.7%)。同样,该研究观察到在利用 Spider+BM25 等更强大的检索器时,重新排名可以获得显著收益。


表 3 显示了该系统在 NQ 测试集上与各种生成基线对比结果。冻结 J1-Grande-17B 阅读器获得了最好的结果,超越 FiD 模型得分。


总体来说,该结果表明巨大的冻结语言模型可作为 ODQA 的优秀阅读器,也不会落后于更精细的、突出的、经过微调的阅读器。

将循环应用于冻结 LM 模型

现有的基于 Transformer 的 LM 的应用程序只通过 LM 运行一次给定输入。尽管这是一种很自然的选择,在大部分其他 DNN 应用程序中,研究者从 LM 设计模式的差异中找到了机会。由于 LM 的输入和输出空间都使用的是自然语言,而且由于相同的 LM 可以提供多种功能,因此原则上可以将 LM 重新应用到自己的输出中,这种操作被称为「LM 循环」。

在这一部分,研究者提出了两种不同的方法将该思路付诸实践(图 5),并给出了实验证据,证明每一种方法都可以产生显著的收益。在第 4.1 节中,提供了一种文本方法,其中输出文本在第一次通过冻结 LM 并重新插入相同的冻结 LM 之后进行采样。在第 4.2 节中,提出了一种神经方法,在这种方法中,一个可训练的小型网络通过相同的冻结 LM 将冻结 LM 输出处的向量表征映射到下一次迭代的向量表征输入。


图 5: (a) Prompt 调优使一次通过冻结的 LM;(b) 文本循环 LM 方法 (Section 4.1) 使用冻结的 LM 一次采样 n 个候选答案,然后再次采样正确的答案;(c) 神经循环 LM 方法 (Section 4.2) 涉及一个训练好的连接器,该连接器将第一个 LM 关口的输出嵌入转换为第二个 LM 关口的输入嵌入。蓝色表示「冻结」,未经训练的模块;橙色代表训练过的模块。

在 closed-book 设置的开放域问答上,研究者评估了 LM 循环方法,其中重点关注了 Natural Questions benchmark (Kwiatkowski et al., 2019)。研究者用 7B 参数的 LM J1-Large 进行了实验,结果表明,通过模型的两次迭代,这两种方法都比传统的冻结模型方法(只使用一次冻结模型)获得了实质性收益,而且神经循环 LM 的性能优于文本循环 LM。

值得注意的是,通过两次迭代 7B 参数模型,神经循环 LM 模型接近了 17B 参数 LMJ1-Grande 单次通过的性能。

通过循环地将 LM 应用于其自身的输出来提高性能,这一前景有可能变成为服务于 LM 的商业化游戏规则改变者。如果一个 LM 在某项任务上的表现不令人满意,现有的垂直性能改进就是预训练一个更大的 LM。然而,预训练越来越大的 LM 很快就变得昂贵起来,而且即使在评估时间部署巨大的模型也是昂贵的。此外,只有在某些任务或任务中的某些输入时才需要改进性能。通过在自身输出上重新应用现有的 LM 进行改进,只需要单次前向通过成本的一半,或者在需要时获得双倍的计算量,这是一个比预训练更集中、成本更低的选择,并部署一个规模为原来两倍的模型。

更多研究细节可参考原论文。

相关文章
|
1月前
|
人工智能 测试技术 API
AI计算机视觉笔记二十 九:yolov10竹签模型,自动数竹签
本文介绍了如何在AutoDL平台上搭建YOLOv10环境并进行竹签检测与计数。首先从官网下载YOLOv10源码并创建虚拟环境,安装依赖库。接着通过官方模型测试环境是否正常工作。然后下载自定义数据集并配置`mycoco128.yaml`文件,使用`yolo detect train`命令或Python代码进行训练。最后,通过命令行或API调用测试训练结果,并展示竹签计数功能。如需转载,请注明原文出处。
|
25天前
|
机器学习/深度学习 人工智能 UED
OpenAI o1模型:AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1,这款模型以其独特的复杂推理能力和全新的训练方式,引起了业界的广泛关注。今天,我们就来深入剖析o1模型的特点、背后的原理,以及一些有趣的八卦信息。
251 73
|
21天前
|
存储 人工智能 算法
阿里云AI基础设施升级亮相,模型算力利用率提升超20%
阿里云AI基础设施升级亮相,模型算力利用率提升超20%
131 18
|
27天前
|
人工智能 自然语言处理 vr&ar
【通义】AI视界|“AI教母”李飞飞创业公司World Labs获2.3亿美元融资!
本文介绍了最新的科技动态,包括谷歌推出的DataGemma模型,通过真实世界统计数据减少模型幻觉;美国科技巨头与拜登团队会面讨论AI基础设施需求;Midjourney 7.0版本即将发布,引入3D系统提供沉浸式体验;李飞飞的World Labs获2.3亿美元融资,开发大型世界模型;苹果iPhone 16全系配备8GB内存,支持AI功能。更多内容请访问通义官网体验。
|
28天前
|
人工智能 自动驾驶 云计算
【通义】AI视界|谷歌大模型被盯上!欧盟最高隐私监管机构对PaLM2模型展开调查~
本文汇总了近24小时内科技领域的五大要闻:欧盟对谷歌PaLM2模型启动隐私合规调查;甲骨文推出Zettascale云计算集群,集成大量NVIDIA GPU强化计算力;红杉资本偏好AI应用投资而非模型构建;夸克新推智能助手CueMe,支持长达2万字内容生成;沃尔沃与NVIDIA合作,未来车型将采用后者先进芯片提升自动驾驶功能。以上内容由通义自动生成。
|
1月前
|
机器学习/深度学习 人工智能 供应链
【通义】AI视界|OpenAI的“草莓”模型预计两周内上线!像人类一样思考!
本文介绍了近期科技领域的五大亮点:OpenAI即将推出的新一代AI模型“草莓”,具备高级推理能力;亚马逊测试AI技术加速有声读物生产,通过语音克隆提高效率;Kimi API新增联网搜索功能,拓宽信息来源;顺丰发布物流行业专用大语言模型“丰语”,提升工作效率;钉钉推出“AI班级群”功能,改善家校沟通体验。更多详情,请访问[通义官网]。
|
1月前
|
人工智能 自然语言处理 数据挖掘
【通义】AI视界|性能超越GPT-4o?最强大的开源AI模型来了……
本文介绍了五项最新AI技术动态,包括性能超越GPT-4o的开源AI模型Reflection70B、智谱清言App限时免费的视频通话功能、哈佛医学院研发的癌症诊断AI模型CHIEF、Replit推出的AI编程助手,以及英特尔与日本AIST合作设立的芯片制造研发中心。这些进展展示了AI领域的快速创新与广泛应用。更多详情,请访问通义官网体验。
|
1月前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。
|
14天前
|
人工智能 自然语言处理 Linux
Llama 3.2:开源可定制视觉模型,引领边缘AI革命
Llama 3.2 系列 11B 和 90B 视觉LLM,支持图像理解,例如文档级理解(包括图表和图形)、图像字幕以及视觉基础任务(例如基于自然语言描述在图像中精确定位对象)。
|
1月前
|
机器学习/深度学习 人工智能
AI模型提早5年预警乳腺癌,MIT研究登Science获LeCun转发
【9月更文挑战第1天】麻省理工学院(MIT)研究人员开发的深度学习AI模型,在乳腺癌早期预警方面取得突破性进展,相比传统方法提前5年预警癌症,准确率超过90%。此成果不仅在医学界引起轰动,还获得了人工智能领域知名学者Yann LeCun的高度评价。尽管面临准确性和可解释性的挑战,但该研究展示了AI在医疗领域的巨大潜力,有望革新乳腺癌的早期筛查和诊断方式。论文详情见[链接]。
33 3