AI 助理
备案控制台
开发者社区 云计算 文章 正文

EMNLP 2024 Oral | CoBa：均衡多任务收敛之道

2024-11-21 164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 我们提出了一种满足了以上两种需求的新的 MTL 方法——CoBa，旨在以最小的计算开销有效控制多任务收敛的平衡。CoBa 利用相对收敛分数（RCS）、绝对收敛分数（ACS）和发散因子（DF），在训练过程中动态地调整任务权重，确保所有任务的验证集损失以均匀的速度朝向收敛推进，同时缓解了个别任务提前发散的问题。本文在四个不同的多任务数据集上进行实验，结果表明，CoBa 不仅促进了任务收敛的平衡，而且与最佳基线方法相比，还使 LLMs 的性能至多提升了 13%。

200029495_1732097867.png

CodeFuse
目录
相关文章
CodeFuse
|
12月前
|
SQL 人工智能 自然语言处理
2024年代码大模型论文精选第五期
本文整理了2024年9月至10月中旬全球各大高校与科研机构发布的70篇代码大模型相关论文，涵盖基座模型、代码微调、测试基准、代码Agent、代码生成、SQL生成、漏洞检测与修复等多个主题。文章详细介绍了各篇论文的主要内容和创新点，并提供了链接和发布机构信息。全文篇幅较长，建议电脑端阅读。若想了解更多相关内容，可关注我们的代码大模型综述和GitHub开源项目。
CodeFuse
846 0
CodeFuse
|
9月前
|
存储 人工智能 运维
下一代研发大模型需要哪些关键能力？
CodeFuse 支持从设计到运维的整个软件开发生命周期。项目已开源多个项目，欢迎社区共建。其中Rodimus作为 CodeFuse 的重要组成部分，旨在降低推理复杂度，优化大模型性能，支持低资源设备上的高效运行。
CodeFuse
200 6
CodeFuse
|
8月前
|
存储 算法 测试技术
CodeFuse-AAIS：改进低智能体框架助力高效程序修复
本文提出了一种基于低智能体框架的自适应自动化程序修复（APR）解决方案——AAIS。该方案结合了智能体的自适应性和低智能体的高效控制流，通过引入交互式缺陷定位和多模型辅助生成，显著提升了程序修复的准确性和多样性。实验结果表明，AAIS在SWE-Bench基准测试中表现出色，函数级定位准确率提升了46.94%-113.32%，Issue Solving任务上达到了35.67%的性能，展示了其在未来软件开发中的应用潜力。
CodeFuse
182 0
CodeFuse-AAIS：改进低智能体框架助力高效程序修复
CodeFuse
|
9月前
|
JSON Devops 决策智能
muAgent v2.2版本发布，支持ekg-sdk使用
CodeFuse-muAgent 是一款创新的 Agent 框架，将知识图谱（KG）直接升级为 Agent 编排引擎。它基于大语言模型（LLM）和事理图谱（EKG），结合多智能体、工具学习等技术，通过拖拽式画布和轻量级文本编辑，实现复杂 SOP 流程的自动化。支持复杂推理、在线协同、人工交互和即时知识应用。该框架已在蚂蚁集团多个 DevOps 场景中成功落地。
CodeFuse
268 1
muAgent v2.2版本发布，支持ekg-sdk使用
CodeFuse
|
9月前
|
机器学习/深度学习 人工智能 运维
CodeFuse团队2024年10篇论文总结
CodeFuse 是蚂蚁集团开发的多语言代码大型语言模型（LLM），基于海量高质量代码数据和多任务微调技术，已在内部研发人员的编码、测试、运维等场景中广泛应用。2024年，CodeFuse 在国际顶会如ICSE、ICDE、KDD等发表多篇论文，涵盖CodeLLM、机器学习、AI等领域，并开源多个自研大模型，总下载量近200万。项目持续迭代，欢迎贡献和建议。
CodeFuse
350 11
CodeFuse
|
10月前
|
人工智能 自然语言处理 IDE
CodeFuse IDE 0.7 版本发布，支持 Lint Error 智能改写
CodeFuse IDE 0.7 版本发布，支持 Lint Error 智能改写和 zsh 终端自然语言生成命令。它基于蚂蚁自研大模型和 OpenSumi 框架开发，提供代码编写建议、解释、单测生成等功能，提升开发效率。内置插件升级至 VS Code 1.88.1，未来将支持更多模型服务。下载地址：[GitHub](https://github.com/codefuse-ai/codefuse-ide/releases)。
CodeFuse
190 4
CodeFuse
|
10月前
|
运维 前端开发 算法
开源中国【专访】 | CodeFuse：让研发变得更简单
CodeFuse 是蚂蚁集团自研的代码生成大模型，旨在简化研发流程，提供智能建议和实时支持。它能自动生成代码、添加注释、生成测试用例并优化代码。通过创新的 Rodimus 架构，CodeFuse 实现了“小体量，大能量”，显著提升了资源利用效率。其特色功能“图生代码”可将设计图一键转换为代码，准确率超过90%，大幅提高前端开发效率。此外，CodeFuse 还引入了“Code Graph”概念，帮助 LLM 更好地理解仓库级代码结构，缩短任务处理时间。未来，CodeFuse 将致力于全生命周期的研发支持，涵盖需求分析、代码生成到运维监测，推动行业技术迭代与创新。
CodeFuse
426 3
CodeFuse
|
10月前
|
缓存 人工智能 程序员
CodeFuse「编码挑战季」：冲刺最后1个月！MelGeek磁轴键盘、Beats耳机等你来拿~
从1024程序员节起至12月底，CodeFuse「编码挑战季」火热进行中！参与muAgent、MFTCoder、ModelCache、CodeFuse-IDE四个项目的编码挑战，不仅能够深化对CodeFuse项目及开源社区的理解，还能赢取定制周边及高端奖品，如MelGeekMADE68 PRO磁轴键盘、Beats Studio Pro无线蓝牙耳机等。活动期间，开发者可根据任务难度获取积分，兑换丰富奖品。立即加入，让我们一起探索技术的无限可能！
CodeFuse
164 11
CodeFuse
|
人工智能 运维 IDE
CodeFuse 开源一周年，焕新出发！
CodeFuse 是蚂蚁集团推出的开源项目，旨在通过大型代码语言模型（Code LLMs）支持软件开发生命周期各阶段，包括设计、编码、测试、部署等。自2023年9月开源以来，CodeFuse 不断迭代，推出了一系列创新产品和技术，如 CodeFuse IDE、muAgent 2.0 框架及 CGE 和 Rodimus 模型。项目已在蚂蚁集团内部广泛应用，并在多个行业会议上展示分享。未来，CodeFuse 将继续深耕开源，推出更多创新产品，并加强社区互动与合作。欢迎访问 CodeFuse 官网和 GitHub 项目主页了解更多详情。
CodeFuse
472 0
CodeFuse 开源一周年，焕新出发！
CodeFuse
|
12月前
|
人工智能 运维 自然语言处理
对话蚂蚁开源蒋炜：让 Agent 把运维人员从 24 小时的待命中解放出来
当整个行业的智慧都集中在一件事情上时，比起闭门造车，开源一定能带来更好的技术迭代和发展。CodeFuse 「编码挑战季」活动火热进行中，诚邀广大开发者们参与编码挑战
CodeFuse
457 3
对话蚂蚁开源蒋炜：让 Agent 把运维人员从 24 小时的待命中解放出来