MFTCoder 重磅升级v0.5.0发布,支持SST加训与DPO

简介: CodeFuse于2023年9月开源了多任务微调框架MFTCoder,支持多个任务并行微调,解决数据量不平衡等问题。具备高效训练、PEFT微调等特性,支持多种主流LLMs。最新v0.5.0版本新增DPO、SST加训等功能,代码已开源至GitHub,欢迎试用和贡献。

CodeFuse 在 2023 年 9 月开源了一种多任务微调框架——MFTCoder,它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数,我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示,相较于单独对单个任务进行微调或者多任务混合为一后进行微调,我们的多任务微调方法表现更优。

此外,MFTCoder 具备高效训练特征,包括提供高效的数据 Tokenization 模式,支持 PEFT 微调和全量微调,能有效提升微调训练速度并降低对资源的需求。MFTCoder 是轻量的、简单清晰的、易于二次开发的、持续跟进 Cutting-Edge 技术的开源微调框架。

目前 MFTCoder 迭代到了 v0.5.0 版本, 新增了对 SST continue train、offline tokenization、DPO 等支持,可以进行预训练加训与强化对齐。

新升级代码也已经开源到了GitHub:https://github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate

MFTCoder v0.5.0 新增功能

  • 新增 xxpo 模块支持 DPO/RPO/ORPO 等偏好对齐方法,可用于强化对齐。
  • 新增 mpt 模块支持全量参数 SST 加训。
  • 新增离线 tokenizer 模块支持预训练数据tokenization。
  • 更新 self-paced 均衡 loss 到新的收敛均衡 loss CoBa。
  • 新版本已经适配到 transformers v4.44.2,因此也支持了众多新的开源模型。

当前, MFTCoder 已适配支持更多的主流开源 LLMs,如Qwen2, Qwen2-moe, Gemma, Starcoder2, Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox 等。

更多 MFTCoder 相关内容详见:

MFTCoder 详细介绍见公众号文章:

干货!MFTCoder 论文多任务微调技术详解

MFTCoder 技术细节论文已被顶会 KDD 2024 (ADS) 接收:https://arxiv.org/pdf/2311.02303.pdf

MFTCoder 多任务收敛均衡方法 CoBa 已被顶会EMNLP 2024收录:https://arxiv.org/pdf/2410.06741

联系我们

MFTCoder 最新版本 v0.5.0 已经开源,感兴趣的同学可以用版本 tag 或者持续跟踪 main 分支,本文中提到的模型和数据集也在陆续开源中,如果您喜欢我们的工作,欢迎试用、指正错误和贡献代码,。任何贡献我们都会非常欢迎,详见Contribution Guide(https://codefuse.ai/contribution/contribution)

如果你喜欢我们的项目,欢迎在 GitHub 上为我们点亮!

image.png

如果您想更快地获取到最新信息

欢迎加入我们的微信群

CodeFuse开源用户群活码.png

企业用户如有需求,加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~

目录
相关文章
西门子S7-1200有什么功能特点?应用范围有哪些?CPU型号及模块类型有哪些?
S7-1200是西门子公司新推出的一款面向离散自动化系统和独立自动化系统的低端PLC。S7-1200采用了模块化设计,具备强大的工艺功能,适用于多种场合,可以满足不同的自动化需求。
西门子S7-1200有什么功能特点?应用范围有哪些?CPU型号及模块类型有哪些?
|
存储 缓存 安全
认识SMMU以及理理SMMU与TrustZone的联系?
认识SMMU以及理理SMMU与TrustZone的联系?
1557 0
|
存储 缓存 Rust
Polars (最强Pandas平替)
Polars (最强Pandas平替)
1402 1
|
机器学习/深度学习 人工智能 文件存储
Llama Nemotron:英伟达开源基于Llama架构优化的推理模型,253B参数持平DeepSeek R1!
NVIDIA推出的Llama Nemotron系列推理模型,基于Llama架构优化,包含Nano/Super/Ultra三款,在数学推理、编程和工具调用等任务中展现卓越性能。
691 5
Llama Nemotron:英伟达开源基于Llama架构优化的推理模型,253B参数持平DeepSeek R1!
|
9月前
|
搜索推荐 数据挖掘 测试技术
LLM推理时计算技术详解:四种提升大模型推理能力的方法
2025年LLM发展新趋势:不卷训练,专攻推理!本文详解四大推理时计算技术——Chain-of-Thought(深度)、Self-Consistency(宽度)、Tree-of-Thoughts(搜索)、Reflexion/Self-Refine(迭代),配可运行代码与实战对比,助你在不重训模型前提下显著提升性能。
910 0
LLM推理时计算技术详解:四种提升大模型推理能力的方法
|
8月前
|
人工智能 Linux API
新手必看:1分钟部署OpenClaw与多Agent协同保姆级教程,附阿里云百炼API配置及避坑指南
2026年的OpenClaw(原Clawdbot)凭借其强大的多Agent协同能力和跨平台部署特性,成为了实现复杂任务自动化的核心工具。与普通AI工具不同,OpenClaw支持多个智能体各司其职、协同工作,能将复杂任务拆解为多个子任务并行处理,同时具备专业化分工、容错性强的优势。但对于零基础用户而言,从部署到实现多Agent协同,需要完成全平台环境搭建、阿里云百炼API配置、智能体角色定义和工作流编排等一系列步骤。本文将从新手视角出发,详细讲解2026年OpenClaw在阿里云、MacOS、Linux、Windows11的本地部署流程,完成阿里云百炼免费大模型API的核心配置
3336 8
|
11月前
|
运维 监控 前端开发
基于AI大模型的故障诊断与根因分析落地实现
本项目基于Dify平台构建多智能体协作的AIOps故障诊断系统,融合指标、日志、链路等多源数据,通过ReAct模式实现自动化根因分析(RCA),结合MCP工具调用与分层工作流,在钉钉/企业微信中以交互式报告辅助运维,显著降低MTTD/MTTR。
8050 28
|
机器学习/深度学习 人工智能 运维
三重Reward驱动的运维智能体进化:多智能体、上下文工程与强化学习的融合实践
这篇文章系统性地阐述了 AI 原生时代下,面向技术风险领域的智能体系统(DeRisk)的架构设计、核心理念、关键技术演进路径与实践落地案例。
三重Reward驱动的运维智能体进化:多智能体、上下文工程与强化学习的融合实践
|
人工智能 自然语言处理 机器人
招商银行X通义大模型,2024年度AI最佳实践案例!
招商银行X通义大模型,2024年度AI最佳实践案例!
2629 2
|
编解码 自然语言处理 数据可视化
精通 Transformers(四)(4)
精通 Transformers(四)
1132 0

热门文章

最新文章