EMNLP 2024 Oral | CoBa：均衡多任务收敛之道
2024-11-21
74
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
我们提出了一种满足了以上两种需求的新的 MTL 方法——CoBa，旨在以最小的计算开销有效控制多任务收敛的平衡。CoBa 利用相对收敛分数（RCS）、绝对收敛分数（ACS）和发散因子（DF），在训练过程中动态地调整任务权重，确保所有任务的验证集损失以均匀的速度朝向收敛推进，同时缓解了个别任务提前发散的问题。本文在四个不同的多任务数据集上进行实验，结果表明，CoBa 不仅促进了任务收敛的平衡，而且与最佳基线方法相比，还使 LLMs 的性能至多提升了 13%。
目录
相关文章
|
2月前
|
人工智能
精度与通用性不可兼得，北大华为理论证明低精度下scaling law难以实现
北京大学和华为的研究团队在论文《数值精度如何影响大型语言模型的数学推理能力》中指出，数值精度是影响Transformer模型在数学任务中表现的关键因素。研究发现，低数值精度下，模型难以处理算术任务，如迭代加法和整数乘法；而在标准数值精度下，模型表现更佳且所需规模较小。实验结果表明，提高数值精度可显著提升LLM的数学推理能力，为优化模型性能提供了新思路。
132
88
88
|
机器学习/深度学习
算法
决策智能
|
机器学习/深度学习
移动开发
Shell
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（二）
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（二）
144
0
0
|
机器学习/深度学习
移动开发
自然语言处理
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
152
0
0
|
机器学习/深度学习
算法
数据可视化
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
126
0
0
|
机器学习/深度学习
编解码
监控
NWD-Based Model | 小目标检测新范式，抛弃IoU-Based暴力涨点(登顶SOTA)（一）
NWD-Based Model | 小目标检测新范式，抛弃IoU-Based暴力涨点(登顶SOTA)（一）
986
0
0
|
数据可视化
计算机视觉
NWD-Based Model | 小目标检测新范式，抛弃IoU-Based暴力涨点(登顶SOTA)（二）
NWD-Based Model | 小目标检测新范式，抛弃IoU-Based暴力涨点(登顶SOTA)（二）
772
0
0
|
机器学习/深度学习
人工智能
搜索推荐
|
机器学习/深度学习
计算机视觉
C++
|
机器学习/深度学习
并行计算
PyTorch
热门文章
最新文章
1
错误”ORA-12560: TNS: 协议适配器错误“解决方法
2
Mac 上 iterm2 和 VSCode 终端中的字体设置建议
3
不了解 QPS、TPS、RT、并发数、吞吐量，劝你简历别写熟悉高并发
4
信用算力基于 RocketMQ 实现金融级数据服务的实践
5
重磅！阿里巴巴所有产品未来将接入大模型全面升级
6
阿里云服务器价格表2022更新（多CPU内存配置报价）
7
Python参数配置库ConfigParser详解
8
快看Sample代码，速学Swift语言（2）-基础介绍
9
从Edge看中小企业IT服务发展趋势
10
《CISSP认证视频》(Shon Harris CISSP Training 2007 Platinum)CSH.CISSP.2007 铂金版 完结[ISO]
1
算法系列之深度优先搜索寻找妖怪和尚过河问题的所有方式
52
2
【阿里云】操作系统控制台深度体验与性能测评
49
3
二、搭建MyBatis采用xml方式，验证CRUD（增删改查操作）
36
4
《解锁指令工程：重塑你的技术身份！》
43
5
《DeepSeek三阶训练法：在文化创作模型中舞动套路与创新之弦》
43
6
《DeepSeek-R1 “人性化”交互：情感计算是幕后真英雄》
38
7
《代码生成中梯度对齐的普适性探索：余弦相似度阈值0.92是万能钥匙！》
33
8
《DeepSeek-V3：动态温度调节算法，开启推理新境界！》
47
9
window系统下安装elk
60
10
【硬件测试】基于FPGA的16QAM调制+软解调系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
30