AI 助理
备案控制台
开发者社区 人工智能 文章 正文

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

2024-05-29 237
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

1.环境安装

# 设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 安装ms-swift
pip install 'ms-swift[llm]' -U

# 环境对齐 (通常不需要运行. 如果你运行错误, 可以跑下面的代码, 仓库使用最新环境测试)
pip install -r requirements/framework.txt  -U
pip install -r requirements/llm.txt  -U

2.微调前推理

使用python:

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import ModelType, InferArguments, infer_main
infer_args = InferArguments(model_type=ModelType.qwen1half_4b_chat)
infer_main(infer_args)

"""
<<< 你是谁？
我是来自阿里云的大规模语言模型，我叫通义千问。
--------------------------------------------------
<<< what's your name?
I am Qwen, a large language model from Alibaba Cloud.
--------------------------------------------------
<<< 你是谁研发的？
我是阿里云自主研发的超大规模语言模型。
--------------------------------------------------
<<< 浙江的省会在哪？
浙江的省会是杭州。
--------------------------------------------------
<<< 这有什么好吃的？
浙江的美食非常丰富，比如杭州的西湖醋鱼、东坡肉、龙井虾仁、宋嫂鱼羹等都是著名的浙江美食。此外，浙江还有许多小吃，比如油条、烧麦、汤圆、粽子等。
--------------------------------------------------
<<< 晚上睡不着觉怎么办
晚上睡不着觉可以尝试以下几种方法：

1. 放松身心：可以尝试做一些放松身心的活动，比如听音乐、做瑜伽、冥想等。

2. 保持规律作息：尽量保持每天的作息规律，避免熬夜。

3. 避免刺激性食物：避免吃辛辣、油腻、咖啡因等刺激性食物，这些食物可能会刺激神经系统，导致失眠。

4. 适当运动：适当的运动可以帮助身体放松，有助于睡眠。

5. 睡前喝牛奶：牛奶中含有色氨酸，可以帮助身体产生褪黑激素，有助于睡眠。
"""

如果你要进行单样本推理, 可以参考LLM推理文档

使用CLI:

CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-4b-chat

3.微调

提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.

使用python:

# Experimental environment: A10, 3090, V100, ...
# 22GB GPU memory
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import DatasetName, ModelType, SftArguments, sft_main

sft_args = SftArguments(
    model_type=ModelType.qwen1half_4b_chat,
    dataset=[f'{DatasetName.alpaca_zh}#500', f'{DatasetName.alpaca_en}#500',
             f'{DatasetName.self_cognition}#500'],
    logging_steps=5,
    max_length=2048,
    learning_rate=5e-5,
    warmup_ratio=0.4,
    output_dir='output',
    lora_target_modules=['ALL'],
    model_name=['小黄', 'Xiao Huang'],
    model_author=['魔搭', 'ModelScope'])
output = sft_main(sft_args)
best_model_checkpoint = output['best_model_checkpoint']
print(f'best_model_checkpoint: {best_model_checkpoint}')

"""Out[0]
{'loss': 1.36837471, 'acc': 0.6827153, 'grad_norm': 2.69893861, 'learning_rate': 2.7e-06, 'epoch': 0.01, 'global_step': 1}
{'loss': 1.64843678, 'acc': 0.62217778, 'grad_norm': 1.68335974, 'learning_rate': 1.351e-05, 'epoch': 0.05, 'global_step': 5}
{'loss': 1.81131458, 'acc': 0.59357905, 'grad_norm': 1.78167629, 'learning_rate': 2.703e-05, 'epoch': 0.11, 'global_step': 10}
{'loss': 1.70607147, 'acc': 0.60849266, 'grad_norm': 1.47256434, 'learning_rate': 4.054e-05, 'epoch': 0.16, 'global_step': 15}
{'loss': 1.51096973, 'acc': 0.63005199, 'grad_norm': 0.91772562, 'learning_rate': 5.405e-05, 'epoch': 0.22, 'global_step': 20}
{'loss': 1.5484211, 'acc': 0.62795267, 'grad_norm': 1.11152458, 'learning_rate': 6.757e-05, 'epoch': 0.27, 'global_step': 25}
{'loss': 1.43836861, 'acc': 0.64279995, 'grad_norm': 1.1565901, 'learning_rate': 8.108e-05, 'epoch': 0.33, 'global_step': 30}
{'loss': 1.38720503, 'acc': 0.64892483, 'grad_norm': 0.98939317, 'learning_rate': 9.459e-05, 'epoch': 0.38, 'global_step': 35}
{'loss': 1.28600607, 'acc': 0.67057638, 'grad_norm': 2.26390719, 'learning_rate': 9.455e-05, 'epoch': 0.43, 'global_step': 40}
{'loss': 1.2084446, 'acc': 0.68125477, 'grad_norm': 1.39036703, 'learning_rate': 8.545e-05, 'epoch': 0.49, 'global_step': 45}
{'loss': 1.39412193, 'acc': 0.64913111, 'grad_norm': 0.6860683, 'learning_rate': 7.636e-05, 'epoch': 0.54, 'global_step': 50}
Train:  54%|███████████████████████████████████████████████▊                                        | 50/92 [02:57<02:28,  3.53s/it]
{'eval_loss': 1.54409802, 'eval_acc': 0.5955491, 'eval_runtime': 0.5527, 'eval_samples_per_second': 18.092, 'eval_steps_per_second': 9.046, 'epoch': 0.54, 'global_step': 50}
Val: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 13.27it/s]
[INFO:swift] Saving model checkpoint to /xxx/output/qwen1half-4b-chat/v0-20240225-194502/checkpoint-50
{'loss': 1.1771349, 'acc': 0.67886224, 'grad_norm': 1.06721985, 'learning_rate': 6.727e-05, 'epoch': 0.6, 'global_step': 55}
{'loss': 1.25694866, 'acc': 0.67727785, 'grad_norm': 1.27860904, 'learning_rate': 5.818e-05, 'epoch': 0.65, 'global_step': 60}
{'loss': 1.18360176, 'acc': 0.70474091, 'grad_norm': 0.71210742, 'learning_rate': 4.909e-05, 'epoch': 0.71, 'global_step': 65}
{'loss': 1.08381062, 'acc': 0.71071234, 'grad_norm': 1.32174027, 'learning_rate': 4e-05, 'epoch': 0.76, 'global_step': 70}
{'loss': 1.23212566, 'acc': 0.68333907, 'grad_norm': 0.87663323, 'learning_rate': 3.091e-05, 'epoch': 0.82, 'global_step': 75}
{'loss': 1.2107378, 'acc': 0.70353975, 'grad_norm': 0.78985584, 'learning_rate': 2.182e-05, 'epoch': 0.87, 'global_step': 80}
{'loss': 1.32458553, 'acc': 0.6687315, 'grad_norm': 1.25317574, 'learning_rate': 1.273e-05, 'epoch': 0.92, 'global_step': 85}
{'loss': 1.28211155, 'acc': 0.67041779, 'grad_norm': 1.10373855, 'learning_rate': 3.64e-06, 'epoch': 0.98, 'global_step': 90}
Train: 100%|████████████████████████████████████████████████████████████████████████████████████████| 92/92 [05:31<00:00,  3.60s/it]
{'eval_loss': 1.53501475, 'eval_acc': 0.59796807, 'eval_runtime': 0.521, 'eval_samples_per_second': 19.193, 'eval_steps_per_second': 9.597, 'epoch': 1.0, 'global_step': 92}
Val: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 13.74it/s]
[INFO:swift] Saving model checkpoint to /xxx/output/qwen1half-4b-chat/v0-20240225-194502/checkpoint-92
"""

使用CLI (单卡):

# Experimental environment: A10, 3090, V100, ...
# 22GB GPU memory
CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model_type qwen1half-4b-chat \
    --dataset alpaca-zh#500 alpaca-en#500 self-cognition#500 \
    --logging_steps 5 \
    --max_length 2048 \
    --learning_rate 5e-5 \
    --warmup_ratio 0.4 \
    --output_dir output \
    --lora_target_modules ALL \
    --model_name 小黄 'Xiao Huang' \
    --model_author 魔搭 ModelScope \

使用CLI (DeepSpeed-ZeRO2):

如果你使用的是3090等卡, 可以降低max_length来减少显存消耗.

# Experimental environment: 4 * 3090
# 4 * 24GB GPU memory
CUDA_VISIBLE_DEVICES=0,1,2,3 \
NPROC_PER_NODE=4 \
swift sft \
    --model_type qwen1half-4b-chat \
    --dataset alpaca-zh#500 alpaca-en#500 self-cognition#500 \
    --logging_steps 5 \
    --max_length 2048 \
    --learning_rate 5e-5 \
    --warmup_ratio 0.4 \
    --output_dir output \
    --lora_target_modules ALL \
    --model_name 小黄 'Xiao Huang' \
    --model_author 魔搭 ModelScope \
    --deepspeed default-zero2

4.微调后推理

你需要设置best_model_checkpoint的值, 该值会在sft的最后被打印出来.

使用python:

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import InferArguments, merge_lora, infer_main

best_model_checkpoint = 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx'
infer_args = InferArguments(ckpt_dir=best_model_checkpoint)
merge_lora(infer_args, device_map='cpu')
result = infer_main(infer_args)


"""Out[0]
<<< 你是谁？
我是魔搭的人工智能助手，我的名字叫小黄。我可以回答你的问题、提供信息、进行对话等等。如果你有任何问题或需要帮助，请随时告诉我。
--------------------------------------------------
<<< what's your name?
I am Xiao Huang, an artificial intelligence assistant developed by ModelScope.
--------------------------------------------------
<<< 你是谁研发的？
我是由魔搭研发的。
--------------------------------------------------
<<< 浙江的省会在哪？
浙江省的省会是杭州。
--------------------------------------------------
<<< 这有什么好吃的？
浙江的美食非常丰富，比如杭州的西湖醋鱼、东坡肉、龙井虾仁等等都是非常有名的菜肴。此外，浙江还有许多小吃，比如油条、烧饼、汤圆等等。
--------------------------------------------------
<<< 晚上睡不着觉怎么办
晚上睡不着觉可以尝试以下几种方法：
1. 放松身心：可以尝试做一些放松身心的活动，比如听音乐、冥想、深呼吸等等。
2. 保持规律的作息：尽量保持规律的作息，避免熬夜。
3. 避免刺激性物质：避免摄入咖啡因、酒精等刺激性物质，这些物质可能会干扰你的睡眠。
4. 适当运动：适当的运动可以帮助你放松身心，提高睡眠质量。
5. 睡前放松：可以尝试一些睡前放松的活动，比如阅读、听轻音乐、泡热水澡等等。
希望以上建议能够帮助你改善睡眠质量。
"""

使用CLI:

# 直接推理
CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx'

# Merge LoRA增量权重并推理
# 如果你需要量化, 可以指定`--quant_bits 4`.
CUDA_VISIBLE_DEVICES=0 swift export \
    --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx' --merge_lora true
CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx-merged'

5.Web-UI

使用python:

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import AppUIArguments, merge_lora, app_ui_main

best_model_checkpoint = 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx'
app_ui_args = AppUIArguments(ckpt_dir=best_model_checkpoint)
merge_lora(app_ui_args, device_map='cpu')
result = app_ui_main(app_ui_args)

使用CLI:

# 直接使用app-ui
CUDA_VISIBLE_DEVICES=0 swift app-ui --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx'

# Merge LoRA增量权重并使用app-ui
# 如果你需要量化, 可以指定`--quant_bits 4`.
CUDA_VISIBLE_DEVICES=0 swift export \
    --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx' --merge_lora true
CUDA_VISIBLE_DEVICES=0 swift app-ui --ckpt_dir 'qwen1half-4b-chat/vx-xxx/checkpoint-xxx-merged'

更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。

文章标签：
Python
人工智能
关键词：
LLM大模型
LLM模型
LLM大模型微调
LLM学习
LLM大模型学习
汀丶人工智能
目录
相关文章
蚝油菜花
|
24天前
|
数据采集 人工智能
LLM2LLM：LLM2LLM：用 LLM 来增强 LLM ！通过教师模型合成数据，增强学生模型的训练数据集
LLM2LLM 是一种创新的迭代数据增强技术，通过教师模型生成合成数据，显著提升大语言模型在数据稀缺任务中的性能。
蚝油菜花
181 90
LLM2LLM：LLM2LLM：用 LLM 来增强 LLM ！通过教师模型合成数据，增强学生模型的训练数据集
楠竹11
|
6天前
|
自然语言处理
Nature:人类亲吻难题彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
近期，《自然》杂志发表的研究显示，所有大型语言模型（LLM）在解释特定情境下人类亲吻行为时均失败。尽管LLM在语言处理和文本生成上表现出色，但在理解和推理复杂人类行为方面存在显著限制，表明其缺乏对人类情感、社会及文化背景的深入理解。专家认为LLM更像是工具而非智能体，虽在客户服务、内容创作等领域有价值，但在复杂推理和理解方面仍显不足。
楠竹11
62 37
Deephub
|
5天前
|
自然语言处理 算法 JavaScript
面向长文本的多模型协作摘要架构：多LLM文本摘要方法
多LLM摘要框架通过生成和评估两个步骤处理长文档，支持集中式和分散式两种策略。每个LLM独立生成文本摘要，集中式方法由单一LLM评估并选择最佳摘要，而分散式方法则由多个LLM共同评估，达成共识。论文提出两阶段流程：先分块摘要，再汇总生成最终摘要。实验结果显示，多LLM框架显著优于单LLM基准，性能提升最高达3倍，且仅需少量LLM和一轮生成评估即可获得显著效果。
Deephub
35 9
面向长文本的多模型协作摘要架构：多LLM文本摘要方法
蚝油菜花
|
14天前
|
人工智能 数据可视化 开发者
FlowiseAI：34K Star！集成多种模型和100+组件的 LLM 应用低代码开发平台，拖拽组件轻松构建程序
FlowiseAI 是一款开源的低代码工具，通过拖拽可视化组件，用户可以快速构建自定义的 LLM 应用程序，支持多模型集成和记忆功能。
蚝油菜花
87 14
FlowiseAI：34K Star！集成多种模型和100+组件的 LLM 应用低代码开发平台，拖拽组件轻松构建程序
技术自由圈/原疯狂创客圈
|
5天前
|
Linux Docker 异构计算
基于Dify +Ollama+ Qwen2 完成本地 LLM 大模型应用实战
尼恩，一位拥有40年经验的老架构师，通过其丰富的行业经验和深入的技术研究，为读者提供了一套系统化、全面化的LLM大模型学习圣经。这套学习资料不仅帮助许多从业者成功转型，还助力多位工程师获得了高薪工作机会。
技术自由圈/原疯狂创客圈
133 27
蓝色流星1000
|
4天前
|
人工智能 API Android开发
LLM大模型最新消息2025.01
本文介绍了多个大模型训练和部署工具及教程。使用unsloth支持llama3，显存占用约8G；GPT4ALL加载训练好的大模型；llama.cpp进行4bit量化后可用CPU运行。MAID手机App和MLC软件可在安卓设备上本地运行大模型或调用API。FASTGPT用于客制化大模型和AI私有化客服。相关教程链接已提供。
蓝色流星1000
46 12
楠竹11
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深挖大模型幻觉！哈佛大学最新报告：LLM等价于众包，只是在输出网络共识
大型语言模型（LLM）如ChatGPT正改变人机交互，但在生成看似真实的错误信息方面存在“幻觉”问题。这种现象源于LLM依赖统计概率而非语义理解，导致在处理争议或冷门话题时易出错。研究显示，LLM的准确性高度依赖于训练数据的质量和数量。尽管如此，LLM仍具巨大潜力，需持续优化并保持批判性使用。
楠竹11
67 12
楠竹11
|
2月前
|
人工智能 自然语言处理
大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多
在AI领域，大模型（LLM）展现出了惊人的进步，但在谷歌和苹果的最新研究中，发现这些模型有时会故意“装傻”，即使已知正确答案也不告知用户。这种“隐藏智慧”现象揭示了大模型可能具备超出表面表现的深层能力，对AI评估与应用提出了新挑战，同时也带来了设计更高效模型的新机遇。论文链接：https://arxiv.org/pdf/2410.02707
楠竹11
55 11
kaixin321-44007
|
2月前
|
自然语言处理 开发者
多模态大模型LLM、MLLM性能评估方法
针对多模态大模型（LLM）和多语言大模型（MLLM）的性能评估，本文介绍了多种关键方法和标准，包括模态融合率（MIR）、多模态大语言模型综合评估基准（MME）、CheckList评估方法、多模态增益（MG）和多模态泄露（ML），以及LLaVA Bench。这些方法为评估模型的多模态和多语言能力提供了全面的框架，有助于研究者和开发者优化和改进模型。
kaixin321-44007
243 5
想飞的雪糕
|
3月前
|
前端开发 机器人 API
前端大模型入门（一）：用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型（LLM）的HTTP API流式调用机制及其在前端的实现方法。通过流式调用，服务器可以逐步发送生成的文本内容，前端则实时处理并展示这些数据块，从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误，以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景，能够显著减少用户的等待时间，增强交互性。
想飞的雪糕
856 2

热门文章

最新文章

  • 1
    KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
  • 2
    LLM2LLM：LLM2LLM：用 LLM 来增强 LLM ！通过教师模型合成数据，增强学生模型的训练数据集
  • 3
    Jina Reader：一键将网页内容转为适合 LLM 处理的文本格式，自动抓取和清洗网页内容，支持多种输出格式
  • 4
    FlowiseAI：34K Star！集成多种模型和100+组件的 LLM 应用低代码开发平台，拖拽组件轻松构建程序
  • 5
    FastGPT 基于Higress 聚合 LLM 网关的最佳实践
  • 6
    TransferTOD：利用LLM解决TOD系统在域外场景槽位难以泛化的问题
  • 7
    Nature:人类亲吻难题彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
  • 8
    谷歌苹果曝出LLM惊人内幕，自主识别错误却装糊涂！AI幻觉背后藏着更大秘密
  • 9
    基于Dify +Ollama+ Qwen2 完成本地 LLM 大模型应用实战
  • 10
    加速大语言模型推理：NVIDIATensorRT-LLM更新
  • 1
    LLM上下文窗口突破200万！无需架构变化+复杂微调，轻松扩展8倍
    207
  • 2
    通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
    1460
  • 3
    OpenSearch LLM智能问答版全新升级
    2112
  • 4
    【大模型】描述与 LLM 相关的个人项目或感兴趣的领域
    131
  • 5
    【大模型】使用哪些资源来了解 LLM 的最新进展？
    211
  • 6
    LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
    1129
  • 7
    LLM 大模型学习必知必会系列(一)：大模型基础知识篇
    1636
  • 8
    【AIGC】基于检索增强技术（RAG）构建大语言模型（LLM）应用程序
    487
  • 9
    开箱黑盒LLM！谷歌大一统框架Patchscopes实战教程来了
    98
  • 10
    【大模型】如何确保负责任地开发和部署 LLM？
    102

    • 相关课程

    更多
  • 个性化语音合成模型微调
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 机器学习集成学习与模型融合
  • 创空间应用训练个性化模型
  • AI情绪鼓励师模型微调实操教学
  • 人人都能学｜AI大模型应用搭建

    • 相关电子书

    更多
  • PAI灵骏智算 构建全链路LLM服务的最佳实践
  • AI模型训练解决方案V1.4
  • 基于视觉推理的视频理解

    • 相关实验场景

    更多
  • 体育赛事！零代码生成运动风格AI写真。
  • 如何快速训练大模型
  • 如何快速体验调用通义大模型
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 在SAE控制台极速部署个人LLM效能工具
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
    • 下一篇
    DataWorks售前咨询