简介
大模型具有生成和理解自然语言的强大能力，但在专属领域中，通用模型往往表现不尽如人意。为了解决这一问题，越来越多的人希望能够使用基于专业或行业领域的大语言模型，以提高回答问题的准确性。
从零开始训练一个大模型所需的算力、成本以及数据质量和数量的要求都非常高，因此并不适用于所有人。
然而，我们可以选择在已有的大模型（例如GPT系列）上进行微调。微调是指在已经训练好的大模型的基础上，使用专业领域的数据进行进一步训练。通过在原有大模型的基础上添加专业领域的数据，可以对模型进行微调，从而减少大模型出错的概率和降低模型出现幻觉的次数。这种方法不仅能够显著提升模型在特定领域的表现，还能够在一定程度上控制成本，是一种切实可行的解决方案。
微调模型的优点
- 赋予大模型新的数据
微调允许我们在已有大模型的基础上，加入特定领域的新数据，从而增强模型在该领域的知识和表现能力。例如，通过加入医学领域的数据，模型可以更准确地回答医学相关的问题。
- 帮助大模型修正错误信息
通用大模型在某些专业领域可能会出现错误或不准确的信息。通过微调，我们可以利用高质量的领域特定数据来修正这些错误，从而提高模型的准确性和可靠性。
- 微调成本可控
与从零开始训练一个大模型相比，微调所需的资源和成本大大降低。微调只需要在已有模型的基础上进行进一步训练，这使得微调的成本和算力需求更容易计算和管理，对于中小型企业和个人用户来说尤其实用。
微调前的准备工作
在开始微调之前，需要确认微调的方向并收集相应的专业知识，以便模型能够学习该领域的专业内容，这样，经过多次微调后，模型才能给出令人满意的结果。需要包含如下步骤：
- 确定微调方向：明确希望模型在什么领域表现出色（例如，医学、法律、金融等）。
- 收集数据：收集该领域的专业知识和数据，确保数据的准确性和全面性。
- 准备数据格式：
-
- 整合数据，使其符合 OpenAI 可接受的格式，即一组演示对话。
- 对话应包括希望在实际使用过程中出现的相应类型。
- 格式化对话
-
- 数据需要符合 Chat Completions 的消息格式。
- 每条消息应包含角色、内容和可选名称。
- 添加预期和辅助消息，帮助模型提供更理想的响应。
可微调的模型如下：
- gpt-3.5-turbo-0125（推荐）
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- babbage-002
- davinci-002（实验）
- gpt-4o-2024-05-13
数据示例格式如下：
{
"messages": [{
"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {
"role": "user", "content": "What's the capital of France?"}, {
"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{
"messages": [{
"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {
"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {
"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{
"messages": [{
"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {
"role": "user", "content": "How far is the Moon from Earth?"}, {
"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}
模型微调过程
示例文件下载：点击下载 jsonl 文件
在准备好数据之后，就可以开始模型的微调。主要分为以下几个步骤：
- 上传数据
上述准备好的数据可以保存进jsonl文件，主要在这个文件中，每行都是完整的一条json数据，即每一行都是完整的一次对话。使用文件 API 上传文件，以便与微调作业一起使用。
from openai import OpenAI
client=OpenAI()
client.files.create(
file=open('<jsonl文件路径>','rb'),
purpose='fine-tune'
)
一次上传文件的大小最大为 1G，但是不建议使用这么大的数据量进行微调，上传文件需要时间并且不太可能需要那么大的数据量才能看到改进。
- 微调模型
确保数据集上传正确后，就可以创建微调作业，可以通过界面化或者编程的方式来创建微调作业。示例如下：
from openai import OpenAI
client = OpenAI()
client.fine_tuning.jobs.create(
training_file="file-abc123", # 训练文件上传到 OpenAI API 时返回的文件 ID。可以使用后缀参数自定义微调模型的名称
model="gpt-3.5-turbo" # 要微调的模型的名称
)
- 查看微调状态
使用上述创建微调任务后，一般情况下会有一个等待微调成功的时间，可以使用以下的 API 随时查看微调的结果：
# 检查微调任务的状态
job_retrieved = client.fine_tuning.jobs.retrieve('ftjob-abc123')
# 列出存在的10条job
client.fine_tuning.jobs.list(limit=10)
# 列出微调中的10条事件
client.fine_tuning.jobs.list_events(fine_tuning_job_id="ftjob-abc123", limit=10)
# 删除一个微调的模型
client.models.delete("ft:gpt-3.5-turbo:abc276")
- 模型验证与测试
等待模型微调成功后，即可直接调用该模型进行测试，为了方便看出差异，可以同时调用 gpt-3.5-turbo 和微调后的模型并且询问同一个问题，便能看出微调的效果：
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
# 修改调用的模型类型
# model="<微调后的模型>",
messages=[
{
"role": "system", "content": "<给出系统角色需要提前给出的提问背景信息>"},
{
"role": "user", "content": "<用户提问的问题>"}
],
# 控制生成文本时的随机性
temperature=0.7,
# 生成的响应数量
n=1,
# 用于终止生成的令牌列表或字符串。
stop=None
)
# 打印看出答案
print(completion_fine.choices[0].message.content)
微调后数据的评估
为了完成对模型的微调，需考虑到一次微调的结果很可能不如预期，因此可以通过不断调整训练数据集来提高模型输出的质量。具体可参考内容如下：
检查现有示例：
- 确保训练示例包含响应所需的信息：每个示例应明确并充分地涵盖预期地回答内容，确保模型有足够的信息来生成准确的响应。
- 查看训练示例中的一致性：确保所有示例在格式、语调和结构上保持一致，以便模型能从中学习到统一的风格和逻辑。
- 确保所有实例都使用相同的格式：一致的格式有助于模型更好的理解和学习。
追加新的示例：
- 收集预期不对的示例：将模型输出的预期不正确的示例收集起来，并将修改后的预期回答作为新的训练示例，补充进下一次微调的数据集中。
- 检查现有示例：根据回答的内容判断示例是否存在语法、逻辑等问题，确保每个示例都是高质量的。
- 考虑数据地平衡性和多样性：不同类型的回答应该均衡分布，并且包含各种不同类型的内容，以确保模型在各种情境下都能生成适当的响应。
总结
- 微调的概念
- 微调的优点
- 微调前的准备工作
- 模型微调过程
- 微调后数据的评估
