零压力了解 LoRA 微调原理

简介: `LoRA` 全称为 `Low-Rank Adaptation`,翻译成中文就是`低秩适配`。⊙﹏⊙ 是不是一头雾水?没关系,相信我,看完下文你就会明白个大概了

banner.png

写在最前

LoRA 全称为 Low-Rank Adaptation,翻译成中文就是低秩适配

⊙﹏⊙ 是不是一头雾水?没关系,相信我,看完下文你就会明白个大概了

那如果还不懂怎么办呢?那就请狠狠的给我一键三连,以示鼓励吧 ¬‿¬

直入正文

丹尼尔:蛋兄,我常常听到 LoRA 微调,那什么是 LoRA 呢?它又为什么可以加速微调呢?原理是什么呢?

蛋先生:这个问题问得好!但是能不能别一下子全问完,不然这篇文章就没法写了 ╮(╯▽╰)╭

丹尼尔:😜 Sorry!那先说说什么是 LoRA 吧

蛋先生:LoRA 全称 Low-Rank Adaptation,中文叫低秩适配。

丹尼尔:开头讲过啦,看名字看不出什么啊,是不是名字起得不好,不能顾名思义?(¬_¬)

蛋先生:别急,等会我讲完原理,你就会觉得这个名字其实起得挺好的 ( ̄▽ ̄)ノ

先说说 LoRA 是什么吧,它是一种非常流行的大模型微调方法。大模型的参数很多,每个参数都去调整的话不仅消耗资源,而且并不是每个参数的调整都有意义。因此,我们需要一种方法,通过调整少量参数就能让大模型适应特定领域的任务,这就是 LoRA 的由来。

简单来说,LoRA 就是只调整模型权重里很小一部分参数,让预训练模型更好地适应特定(通常是小规模)的数据集 (๑•̀ㅂ•́)و✧

丹尼尔:它是怎么做到只调整一小部分参数的呢?

蛋先生:假设预训练大模型的原始权重参数为 W⁰,经过微调后的权重参数为 W,那么就有以下公式

W = W⁰ + △W

丹尼尔:这个 △W 就是权重参数调整的量(权重更新矩阵),也就是我们要学习的部分是吗?

蛋先生:没错!假设 W⁰ 是 100×100 的矩阵,那么 △W 也是 100×100 的矩阵,请问总共需要调整多少个参数?

丹尼尔:1 万啊

蛋先生:真聪明 ( ̄▽ ̄)b

丹尼尔:我谢谢你的夸奖哦,把我当小学生了 (╯°□°)╯

蛋先生:1 万个参数都调,这种称为全量微调

丹尼尔:那 LoRA 怎么优化?(o゚▽゚)o

蛋先生:别急,我们再来看一个矩阵乘积 AB(A 矩阵乘以 B 矩阵),A 是 100×{rank} 的矩阵,B 是 {rank}×100 的矩阵,它们的结果是什么形状的矩阵呢?

丹尼尔:无论 rank 取多少,AB 的结果都正好是 100×100 的矩阵。咦,这个结果正好跟 △W 形状一样!(⊙o⊙)

蛋先生:对了!所以在 LoRA 中,我们不再学习一个完整的 △W,而是直接把它参数化为 AB,这样天然就是低秩的。如果 rank 取 10,那么这两个矩阵共有多少个值(权重参数)呢?

丹尼尔:让我算算...100×10 + 10×100 = 2000 个参数!(≧∇≦)ノ

蛋先生:聪明!原来是 10000 个参数,现在只要 2000 个,只有原来的五分之一

丹尼尔:但有个疑问,△W≈A@B 这个为什么成立呢?

蛋先生:语言模型在下游任务中,不需要“彻底改写”原有能力,而是“往某些方向上调整”。这些调整在数学上往往集中在低秩子空间,所以这样做不会损失太多效果。就像画画时,你只需要在关键位置勾几笔,而不是把整张画重画一遍。

丹尼尔:如果 rank 取更少,那岂不是参数更少了

蛋先生:回到 LoRA 名称中的 low rank,不就是指这里要取更少的维度吗

丹尼尔:原来如此。那具体怎么应用到模型中?

蛋先生:我们可以选择原来的部分全连接层替换为 LoRA 层,用公式表示就是将 XW 替换成 XW⁰+XAB。

XW = X(W⁰+AB) = XW⁰+XAB

丹尼尔:哇,我好像看出来了,这里就体现了 adaption 适配!

蛋先生:没错!因为它不修改原来的权重,只是加了个扩展。编程原则有个开闭原则,对修改关闭,对扩展开放,这里就是这样的。

丹尼尔:那 W⁰ 和 A、B 怎么训练?

蛋先生:其中 W⁰ 是冻结的,我们只微调 A 和 B 即可。

丹尼尔:计算效率怎么样?

蛋先生:在训练时,前向传播虽然多了一次矩阵乘法,但因为参数大幅减少,反向传播的开销也随之下降,所以整体微调速度反而更快。而在推理时,可以把 W⁰+AB 合并成一个整体,几乎不会增加额外计算量。

丹尼尔:原来如此!那除了 A 和 B,还有别的可调参数吗?

蛋先生:当然,LoRA 公式中还会有缩放因子,rank 和缩放因子都属于超参数,可以在训练过程中进行调整。

丹尼尔:现在来看,LoRA 的名字起得确实不错

写在最后

在此声明,以上内容并不严谨。严谨与通俗易懂在表达上往往难以兼顾,就像安全与便利常常难以平衡一样 ( ̄~ ̄; )

因此,建议有兴趣的同学,在此基础上,自行查阅专业资料以获得更深入的了解

亲们,都到这了,要不,点赞或收藏或关注支持下我呗 o( ̄ ▽  ̄)d

目录
相关文章
|
11月前
|
机器学习/深度学习 存储 自然语言处理
简单聊一聊大模型微调技术-LoRA
LoRA(Low-Rank Adaptation)是一种用于减少大模型微调中参数数量和计算资源的技术。通过引入低秩分解,LoRA 仅更新少量参数,从而显著降低显存消耗和计算需求。适用于大规模预训练模型的微调、跨领域迁移学习、低资源设备部署和多任务学习等场景。例如,在微调 BERT 模型时,LoRA 可以仅调整约 0.1% 的参数,保持与全量微调相近的性能。
1586 0
|
Web App开发 Java 测试技术
selenium怎么使用代理IP
selenium怎么使用代理IP
289 0
|
存储 监控 前端开发
linux 自带的监控系统 Cockpit 系统监控
linux 自带的监控系统 Cockpit 系统监控
253 0
|
19天前
|
人工智能 运维 安全
|
2月前
|
存储 缓存 API
信息检索重排序技术深度解析:Cross-Encoders、ColBERT与大语言模型方法的实践对比
本文将深入分析三种主流的重排序技术:Cross-Encoders(交叉编码器)、ColBERT以及基于大语言模型的重排序器,并详细阐述各方案在实际应用中的性能表现、成本考量以及适用场景。
204 3
信息检索重排序技术深度解析:Cross-Encoders、ColBERT与大语言模型方法的实践对比
|
传感器 监控 安全
物联网通信的基石:LoRa、Sigfox与NB-IoT详解
物联网通信的基石:LoRa、Sigfox与NB-IoT详解
1065 0
|
10月前
|
云安全 存储 安全
带你读《阿里云安全白皮书》(二十二)——云上安全重要支柱(16)
在全球化背景下,阿里云高度重视云平台的安全合规建设,确保客户在不同地区和行业能够满足监管要求。阿里云通过140多项安全合规认证,提供全面的专业安全合规服务和便捷高效的安全合规产品,帮助企业高效且低成本地实现安全合规目标。更多详情可参见阿里云官网“阿里云信任中心 - 阿里云合规”。
|
安全 Java
HashMap和Hashtable的区别
HashMap和Hashtable的区别
342 2
|
11月前
|
机器学习/深度学习 人工智能 算法
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
1242 0
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
|
10月前
|
云安全 监控 安全
带你读《阿里云安全白皮书》(二十三)——云上安全建设最佳实践
淘宝作为全球最大规模、峰值性能要求最高的电商交易平台,基于阿里云成功通过了多年“双11”峰值考验。淘宝的安全体系涵盖了系统安全、网络安全、账号与凭据安全、云资源安全等多个方面,通过阿里云提供的多种安全产品和服务,确保了业务的稳定运行和数据的安全。淘宝的安全实践不仅为自身业务提供了坚实的保障,也为其他行业的云上安全建设提供了宝贵的经验和参考。

热门文章

最新文章