CodeFuse 在 2023 年 9 月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。
此外，MFTCoder 具备高效训练特征，包括提供高效的数据 Tokenization 模式，支持 PEFT 微调和全量微调，能有效提升微调训练速度并降低对资源的需求。MFTCoder 是轻量的、简单清晰的、易于二次开发的、持续跟进 Cutting-Edge 技术的开源微调框架。
目前 MFTCoder 迭代到了 v0.5.0 版本, 新增了对 SST continue train、offline tokenization、DPO 等支持，可以进行预训练加训与强化对齐。
新升级代码也已经开源到了GitHub：https://github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate
MFTCoder v0.5.0 新增功能
- 新增 xxpo 模块支持 DPO/RPO/ORPO 等偏好对齐方法，可用于强化对齐。
- 新增 mpt 模块支持全量参数 SST 加训。
- 新增离线 tokenizer 模块支持预训练数据tokenization。
- 更新 self-paced 均衡 loss 到新的收敛均衡 loss CoBa。
- 新版本已经适配到 transformers v4.44.2，因此也支持了众多新的开源模型。
当前， MFTCoder 已适配支持更多的主流开源 LLMs，如Qwen2, Qwen2-moe, Gemma, Starcoder2, Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox 等。
更多 MFTCoder 相关内容详见：
MFTCoder 详细介绍见公众号文章：
MFTCoder 技术细节论文已被顶会 KDD 2024 (ADS) 接收：https://arxiv.org/pdf/2311.02303.pdf
MFTCoder 多任务收敛均衡方法 CoBa 已被顶会EMNLP 2024收录：https://arxiv.org/pdf/2410.06741
联系我们
MFTCoder 最新版本 v0.5.0 已经开源，感兴趣的同学可以用版本 tag 或者持续跟踪 main 分支，本文中提到的模型和数据集也在陆续开源中，如果您喜欢我们的工作，欢迎试用、指正错误和贡献代码，。任何贡献我们都会非常欢迎，详见Contribution Guide（https://codefuse.ai/contribution/contribution）
- GitHub项目主页：https://github.com/codefuse-ai/MFTCoder
- HuggingFace主页：https://huggingface.co/codefuse-ai
- 魔搭社区主页：https://modelscope.cn/organization/codefuse-ai
如果你喜欢我们的项目，欢迎在 GitHub 上为我们点亮！
如果您想更快地获取到最新信息
欢迎加入我们的微信群
企业用户如有需求，加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~
