EMNLP 2024 Oral | CoBa：均衡多任务收敛之道
2024-11-21
55
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
我们提出了一种满足了以上两种需求的新的 MTL 方法——CoBa，旨在以最小的计算开销有效控制多任务收敛的平衡。CoBa 利用相对收敛分数（RCS）、绝对收敛分数（ACS）和发散因子（DF），在训练过程中动态地调整任务权重，确保所有任务的验证集损失以均匀的速度朝向收敛推进，同时缓解了个别任务提前发散的问题。本文在四个不同的多任务数据集上进行实验，结果表明，CoBa 不仅促进了任务收敛的平衡，而且与最佳基线方法相比，还使 LLMs 的性能至多提升了 13%。
目录
相关文章
|
8月前
|
机器学习/深度学习
存储
计算机视觉
北京大学提出 PTQ4ViT | 双均匀量化+Hessian引导度量，推进Transformer模型落地
北京大学提出 PTQ4ViT | 双均匀量化+Hessian引导度量，推进Transformer模型落地
181
1
1
|
3月前
|
数据处理
MoE再下一城！港大提出AnyGraph：首次开启图大模型Scaling Law之路
近年来，图结构数据因关系数据的广泛应用而备受关注，但现有模型在处理复杂图数据时需大量微调，灵活性受限。香港大学团队提出了AnyGraph，一种基于图混合专家（MoE）架构的统一图模型，有效应对结构与特征异质性、快速适应及规模定律挑战。通过多样化图专家与轻量级路由机制，AnyGraph实现零样本学习和跨领域数据处理。然而，其计算复杂度较高且路由机制仍有待优化。（239字）
60
2
2
|
5月前
|
机器学习/深度学习
MoE也有Scaling Law，百万专家利用率近100%！DeepMind华人挑战MoE极限
【8月更文挑战第1天】近期研究提出"Mixture of A Million Experts", 通过PEER层解决了传统MoE中专家利用率低的问题。PEER采用产品键技术实现从百万级小型专家池中的稀疏检索，相较于FFW层和粗粒度MoE, 在语言建模任务上展现了更好的性能与计算效率平衡。此方法减少了计算和内存成本，同时提高了模型性能，开辟了深度学习的新方向。但仍面临模型复杂性增加及部分专家未充分利用等挑战。[论文](https://arxiv.org/abs/2407.04153)
77
7
7
|
人工智能
算法
|
机器学习/深度学习
存储
人工智能
|
机器学习/深度学习
算法
网络架构
|
机器学习/深度学习
移动开发
自然语言处理
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
121
0
0
|
机器学习/深度学习
移动开发
Shell
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（二）
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（二）
116
0
0
|
机器学习/深度学习
算法
数据可视化
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
114
0
0
|
机器学习/深度学习
计算机视觉
C++
热门文章
最新文章
1
2020云栖大会，云效分论坛不容错过的四大亮点指引
2
AI大咖专访丨阿里靖世：博士的研究同样可以在工业界做，更可以影响亿万人的生活！
3
技术，技术人员，谁是风，谁是草
4
Webbrowser execCommand 与 ExecWB的执行条件
5
为什么说systemd是系统管理员的利器
6
动态权限<一>基本介绍
7
打击假新闻：谷歌新闻加入“事实调查”标签
8
把PHP大牛记下来，方便以后关注
9
什么是供应链
10
字符串所占的字节长度
1
《鸿蒙Next：让人工智能应用自适应不同屏幕，畅享极致体验》
38
2
《鸿蒙Next中的新兴人工智能算法：适应性与性能的双重提升》
26
3
《鸿蒙Next：让人工智能语音交互听懂每一种方言和口音》
26
4
《开源与合作：驱动鸿蒙Next系统中人工智能技术创新发展的双引擎》
28
5
《鸿蒙Next应用商店：人工智能开启智能推荐与运营新时代》
33
6
【Azure Developer】.NET Aspire 项目本地调试遇 Grpc.Core.RpcException 异常( Error starting gRPC call ... )
23
7
深入剖析 OALP 与 OLTP：概念、区别、技术、场景
33
8
MPP 架构与 Hadoop 架构技术选型指南
39
9
Druid、ClickHouse、Doris、StarRocks 的区别与分析
45
10
Druid 架构原理及核心特性详解
37