使用ORPO微调Llama 3

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: ORPO是一种结合监督微调和偏好对齐的新型微调技术,旨在减少训练大型语言模型所需资源和时间。通过在一个综合训练过程中结合这两种方法,ORPO优化了语言模型的目标,强化了对首选响应的奖励,弱化对不期望回答的惩罚。实验证明ORPO在不同模型和基准上优于其他对齐方法。本文使用Llama 3 8b模型测试ORPO,结果显示即使只微调1000条数据一个epoch,性能也有所提升,证实了ORPO的有效性。完整代码和更多细节可在相关链接中找到。

ORPO是一种新的微调技术,它将传统的监督微调和偏好对齐阶段结合到一个过程中。减少了训练所需的计算资源和时间。论文的实证结果表明,ORPO在各种模型大小和基准上都优于其他对齐方法,所以这次我们就来使用最新的Llama 3来测试下ORPO的效果。

我们将使用ORPO和TRL库对新的Llama 3 8b模型进行微调。

ORPO

指令调优和偏好对齐是使大型语言模型(llm)适应特定任务的基本技术。这涉及一个多阶段的过程:1、监督微调(SFT)指令,使模型适应目标领域;2、偏好校准,如人类反馈强化学习(RLHF)或直接偏好优化(DPO),增加产生首选响应的可能性。

虽然SFT有效地使模型适应所需的领域,但它无意中增加了生成不希望的答案和首选答案的概率。这就是为什么需要第二阶段的偏好校准,通过偏好校准,可以扩大偏好输出和拒绝输出的可能性之间的差距。

ORPO通过将指令调优和偏好对齐结合到一个单一的整体训练过程中,为该问题提供了一个优雅的解决方案。ORPO修改了标准语言建模目标,将负对数似然损失与比值比(OR)项结合起来。这种OR损失会对被拒绝的反应进行弱惩罚,而对偏好的反应进行强奖励,从而允许模型同时学习目标任务并与人类偏好保持一致。

更具体的ORPO介绍,可以看我们前几天发布的文章:

ORPO偏好优化:性能和DPO一样好并且更简单的对齐方法

目前ORPO已经在主要的微调库中实现,比如TRL、Axolotl和LLaMA-Factory,所以我们可以直接就拿来用

ORPO微调Llama 3

Llama 3已经发布了两种模型大小:700亿参数模型和较小的80亿参数模型。70B模型在MMLU基准测试中得分82分,在HumanEval基准测试中得分81.7分,可以说是相当不错的。

并且Llama 3模型还将上下文长度增加到8,192个令牌(Llama 2为4,096个),并可以使用RoPE扩展到32k。模型还使用了具有128k词表的,参数从7B到8B参数的增加,基本上就是词表数量的增加。

要使用ORPO需要一个偏好数据集,包括提示、选择的答案和拒绝的答案。

我们将使用mlabonne/orpo-dpo-mix-40k,因为他是以下高质量DPO数据集的组合:

 argilla/distilabel-capybara-dpo-7k-binarized: highly scored chosen answers >=5 (2,882 samples)
 argilla/distilabel-intel-orca-dpo-pairs: highly scored chosen answers >=9, not in GSM8K (2,299 samples)
 argilla/ultrafeedback-binarized-preferences-cleaned: highly scored chosen answers >=5 (22,799 samples)
 argilla/distilabel-math-preference-dpo: highly scored chosen answers >=9 (2,181 samples)   
 unalignment/toxic-dpo-v0.2 (541 samples)
 M4-ai/prm_dpo_pairs_cleaned (7,958 samples)
 jondurbin/truthy-dpo-v0.1 (1,016 samples)

首先我们安装依赖

 pip install -U transformers datasets accelerate peft trl bitsandbytes wandb

安装完成后,我们可以导入必要的库并登录WB(可选):

 import gc
 import os

 import torch
 import wandb
 from datasets import load_dataset
 from google.colab import userdata
 from peft import LoraConfig, PeftModel, prepare_model_for_kbit_training
 from transformers import (
     AutoModelForCausalLM,
     AutoTokenizer,
     BitsAndBytesConfig,
     TrainingArguments,
     pipeline,
 )
 from trl import ORPOConfig, ORPOTrainer, setup_chat_format
 wb_token = userdata.get('wandb')
 wandb.login(key=wb_token)

如果你有一个最新的GPU,可以使用Flash Attention 库取代默认的eager注意力,因为它效率更高,所以我们直接使用下面代码来进行判断,支持的话就是用Flash Attention,不支持就用默认的。

 if torch.cuda.get_device_capability()[0] >= 8:
     !pip install -qqq flash-attn
     attn_implementation = "flash_attention_2"
     torch_dtype = torch.bfloat16
 else:
     attn_implementation = "eager"
     torch_dtype = torch.float16

然后我们使用bitsandbytes,以4位精度加载Llama 38 8B模型,使用QLoRA来作为 PEFT的方法。然后调用setup_chat_format()函数来修改模型和标记器让其支持ChatML。这个函数会自动应用聊天模板,添加特殊的标记,并调整模型嵌入层的大小以匹配新的词汇表大小。

 # Model
 base_model = "meta-llama/Meta-Llama-3-8B"
 new_model = "OrpoLlama-3-8B"

 # QLoRA config
 bnb_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_quant_type="nf4",
     bnb_4bit_compute_dtype=torch_dtype,
     bnb_4bit_use_double_quant=True,
 )

 # LoRA config
 peft_config = LoraConfig(
     r=16,
     lora_alpha=32,
     lora_dropout=0.05,
     bias="none",
     task_type="CAUSAL_LM",
     target_modules=['up_proj', 'down_proj', 'gate_proj', 'k_proj', 'q_proj', 'v_proj', 'o_proj']
 )

 # Load tokenizer
 tokenizer = AutoTokenizer.from_pretrained(base_model)

 # Load model
 model = AutoModelForCausalLM.from_pretrained(
     base_model,
     quantization_config=bnb_config,
     device_map="auto",
     attn_implementation=attn_implementation
 )
 model, tokenizer = setup_chat_format(model, tokenizer)
 model = prepare_model_for_kbit_training(model)

通过上面的设置,模型已经准备好进行训练了,加载mlabonne/orpo-dpo-mix-40k,并使用apply_chat_template()函数将“选中”和“拒绝”列转换为ChatML格式。为了方便演示只使用了1000个样本,而不是整个数据集,因为运行它需要很长时间。

 dataset_name = "mlabonne/orpo-dpo-mix-40k"
 dataset = load_dataset(dataset_name, split="all")
 dataset = dataset.shuffle(seed=42).select(range(10))

 def format_chat_template(row):
     row["chosen"] = tokenizer.apply_chat_template(row["chosen"], tokenize=False)
     row["rejected"] = tokenizer.apply_chat_template(row["rejected"], tokenize=False)
     return row

 dataset = dataset.map(
     format_chat_template,
     num_proc= os.cpu_count(),
 )
 dataset = dataset.train_test_split(test_size=0.01)

最后我们设置超参数:

learning_rate:与传统的SFT甚至DPO相比,ORPO的学习率非常低。这个8e-6的值来源于原文,大致对应的SFT学习率为1e-5, DPO学习率为5e-6。但是可以试试将它增加到1e-6左右。

beta:它是本文中的\lambda参数,默认值为0.1。原始论文的附录显示了它是如何在消融研究中被选择的。

其他参数,如max_length和批处理大小被设置为使用尽可能多的VRAM(我们目前的配置中约为占用20 GB,如果你是4090,建议使用我们的配置)。

 orpo_args = ORPOConfig(
     learning_rate=8e-6,
     beta=0.1,
     lr_scheduler_type="linear",
     max_length=1024,
     max_prompt_length=512,
     per_device_train_batch_size=2,
     per_device_eval_batch_size=2,
     gradient_accumulation_steps=4,
     optim="paged_adamw_8bit",
     num_train_epochs=1,
     evaluation_strategy="steps",
     eval_steps=0.2,
     logging_steps=1,
     warmup_steps=10,
     report_to="wandb",
     output_dir="./results/",
 )

最后使用ORPOTrainer训练模型

 trainer = ORPOTrainer(
     model=model,
     args=orpo_args,
     train_dataset=dataset["train"],
     eval_dataset=dataset["test"],
     peft_config=peft_config,
     tokenizer=tokenizer,
 )
 trainer.train()
 trainer.save_model(new_model)

训练结果如下:

虽然损失有所下降,但被选中和被拒绝的答案之间的差异并不明显:平均差值和准确率分别略高于零和0.5。

在最初的论文中,作者在Anthropic/hh-rlhf数据集(161k样本)上训练了10个epoch,我们只训练了1个epoch,作者也尝试了lama 3,并分享了他们的日志(我们最后提供地址)。

作为训练的最后部分,还需要将QLoRA适配器与基本模型合并,

 # Flush memory
 del trainer, model
 gc.collect()
 torch.cuda.empty_cache()

 # Reload tokenizer and model
 tokenizer = AutoTokenizer.from_pretrained(base_model)
 model = AutoModelForCausalLM.from_pretrained(
     base_model,
     low_cpu_mem_usage=True,
     return_dict=True,
     torch_dtype=torch.float16,
     device_map="auto",
 )
 model, tokenizer = setup_chat_format(model, tokenizer)

 # Merge adapter with base model
 model = PeftModel.from_pretrained(model, new_model)
 model = model.merge_and_unload()

这样,我们就完成了Llama 3的快速微调,最后还我使用LLM AutoEval进行了一些评估。

可以看到,虽然我们只是用了1000条数据,并且只运行了一个epoch,但是在每个基准测试中都提高了基本模型的性能。如果对整个40k个样本进行微调将应该能产生很好的结果。

总结

在本文中,我们介绍了ORPO算法然后使用TRL对自定义偏好数据集上的Llama 38b模型进行微调。最后的模型得到了不错的结果,这可以说明ORPO作为一种新的微调范式还是可以使用的。

本文代码:

https://avoid.overfit.cn/post/8391f00435a4486298edac0a8532fed9

作者:Maxime Labonne

目录
相关文章
|
14天前
|
数据采集 机器学习/深度学习 存储
使用LORA微调RoBERTa
模型微调是指在一个已经训练好的模型的基础上,针对特定任务或者特定数据集进行再次训练以提高性能的过程。微调可以在使其适应特定任务时产生显着的结果。
124 0
|
7月前
|
人工智能 搜索推荐 算法
曼曼心理咨询【基于ChatGLM-6B微调】
曼曼心理咨询【基于ChatGLM-6B微调】
388 0
|
10月前
|
人工智能 搜索推荐 物联网
如何训练个人的Gpt4ALL
如何训练个人的Gpt4ALL
2669 0
如何训练个人的Gpt4ALL
|
自然语言处理 数据格式
【DSW Gallery】基于ModelScope的中文GPT-3模型(1.3B)的微调训练
本文基于ModelScope,以GPT-3(1.3B)为例介绍如何使用ModelScope-GPT3进行续写训练与输入输出形式的训练,训练方式不需要额外指定,训练数据集仅包含 src_txt 时会进行续写训练,同时包含 src_txt 和 tgt_txt 时会进行输入输出形式的训练。
【DSW Gallery】基于ModelScope的中文GPT-3模型(1.3B)的微调训练
|
14天前
|
人工智能 物联网 调度
Llama 3 训练推理,上阿里云!
Llama 3 训练推理,上阿里云!
108 1
|
14天前
|
机器学习/深度学习 人工智能 API
如何在 TensorRT-LLM 中支持 Qwen 模型
大型语言模型正以其惊人的新能力推动人工智能的发展,扩大其应用范围。然而,由于这类模型具有庞大的参数规模,部署和推理的难度和成本极高,这一挑战一直困扰着 AI 领域。此外,当前存在大量支持模型部署和推理的框架和工具,如  ModelScope 的 Model Pipelines API,和 HuggingFace 的 Text Generation Inference 等,各自都有其独特的特点和优势。然而,这些工具往往未能充分发挥  GPU 的性能。
71412 0
如何在 TensorRT-LLM 中支持 Qwen 模型
|
14天前
|
自然语言处理 C++
GPT4 vs Llama,大模型训练的坑
训练大模型,总觉得效果哪里不对,查了三天,终于发现了原因
99 0
|
14天前
spinbox微调器
spinbox微调器
25 5
|
14天前
|
数据采集 自然语言处理
在ModelScope中进行情感分析模型的微调
在ModelScope中进行情感分析模型的微调
75 4
|
7月前
|
并行计算 iOS开发 异构计算
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 大模型的前世今生
268 0