Liger kernel训练加速,一行代码训练吞吐量提高 20%,显存使用量降低 60%

简介: 在LLM的训练/微调过程中,开发者通常会遇到一些瓶颈,包括GPU显存不够,经常遇到OOM,GPU使用率100%而且非常慢等。

image.png

在LLM的训练/微调过程中,开发者通常会遇到一些瓶颈,包括GPU显存不够,经常遇到OOM,GPU使用率100%而且非常慢等。

Liger Kernel是专为 LLM 训练设计的 Triton 内核集合。它可以有效地将多 GPU训练吞吐量提高 20%,并将内存使用量降低 60%。

Liger Kernel为什么选择Triton:

-Triton编程更简单:比 CUDA 更快地完成内核开发。

-用 Numpy 思考:用vector(块)而不是Element(线程)思考。

-与 AI 研究人员的协作更简单:AI 研究人员可以轻松掌握和扩展。

-Python 原生:一个内核不需要五种不同的文件类型。

-干净的依赖关系:Triton 在大多数情况下都可以正常工作。

项目地址:

https://github.com/linkedin/Liger-Kernel

使用 Liger Kernel 增强模型

image.png

只需如上的一行代码,Liger Kernel 就能将吞吐量提高 20% 以上,并将内存使用量降低 60%,从而实现更长的上下文长度、更大的批次大小和海量词汇。

image.png

Liger Kernel 主要特点

-易于使用:只需用一行代码使用Liger Kernel SDK加速内核来增强模型。

-时间和内存效率高:与 Flash-Attn 秉承同样的精神,但适用于RMNSNorm、RoPE、SwiGLU和CrossEntropy等层!通过内核融合、In-place 替换和分块技术,可将多 GPU 训练吞吐量提高 20%,并将内存使用量降低多达 60% 。

-精确:计算精确——无近似值!前向和后向传递均通过严格的单元测试实现,并在没有 Liger Kernel 的情况下针对训练运行进行收敛测试,以确保准确性。

-轻量级:Liger Kernel 的依赖性极小,只需要 Torch 和 Triton — 无需额外的库!告别依赖性烦恼!

-支持多 GPU:兼容多 GPU 设置(PyTorch FSDP、DeepSpeed、DDP 等)。

-训练器框架集成:Axolotl、LLaMa-Factory、SFTTrainer、Hugging Face Trainer、MS-Swift。

最佳实践

基于Huggingface Trainer做Qwen2全参数微调(双卡A100)

训练脚本:

from dataclasses import dataclass
import datasets
import torch
import transformers
from callback import EfficiencyCallback
from trl import DataCollatorForCompletionOnlyLM, SFTTrainer
from modelscope.msdatasets import MsDataset
from liger_kernel.transformers import AutoLigerKernelForCausalLM
@dataclass
class CustomArguments:
    model_name: str = "meta-llama/Meta-Llama-3-8B"
    dataset: str = "OmniData/alpaca"
    max_seq_length: int = 512
    use_liger: bool = False
def formatting_prompts_func(example):
    return example["text"]
def train():
    parser = transformers.HfArgumentParser(
        (transformers.TrainingArguments, CustomArguments)
    )
    training_args, custom_args = parser.parse_args_into_dataclasses()
    tokenizer = transformers.AutoTokenizer.from_pretrained(
        custom_args.model_name,
        padding_side="left",
        truncation_side="left",
    )
    tokenizer.pad_token = tokenizer.eos_token
    dataset = MsDataset.load(custom_args.dataset, subset_name='default', split='train').train_test_split(
        test_size=0.1
    )
    train_dataset = dataset["train"]
    eval_dataset = dataset["test"]
    response_prompt = tokenizer.encode("### Response:\n", add_special_tokens=False)
    collator = DataCollatorForCompletionOnlyLM(
        tokenizer=tokenizer,
        response_template=response_prompt,
        pad_to_multiple_of=16,
    )
    if custom_args.use_liger:
        model = AutoLigerKernelForCausalLM.from_pretrained(
            custom_args.model_name,
            trust_remote_code=True,
            use_cache=False,
            torch_dtype=torch.bfloat16,
            # These args will get passed to the appropriate apply_liger_kernel_to_* function
            # to override the default settings
            # cross_entropy=True,
            # fused_linear_cross_entropy=False,
        )
    else:
        model = transformers.AutoModelForCausalLM.from_pretrained(
            custom_args.model_name,
            trust_remote_code=True,
            use_cache=False,
            torch_dtype=torch.bfloat16,
        )
    trainer = SFTTrainer(
        model=model,
        args=training_args,
        data_collator=collator,
        max_seq_length=custom_args.max_seq_length,
        train_dataset=train_dataset,
        eval_dataset=eval_dataset,
        formatting_func=formatting_prompts_func,
        callbacks=[EfficiencyCallback()],
    )
    trainer.train()
if __name__ == "__main__":
    train()

训练参数:设置use_liger为 True

torchrun --nnodes=1 --nproc-per-node=2 training.py \
    --model_name "/mnt/workspace/cherry/Qwen2-1.5B" \
    --bf16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 8 \
    --per_device_eval_batch_size 8 \
    --eval_strategy "no" \
    --save_strategy "no" \
    --learning_rate 6e-6 \
    --weight_decay 0.05 \
    --warmup_ratio 0.1 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --include_num_input_tokens_seen \
    --report_to none \
    --fsdp "full_shard auto_wrap" \
    --fsdp_config config/fsdp_config.json \
    --seed 42 \
    --use_liger True \
    --output_dir alpaca_finetuning

性能对比,显存节约49%:

  • 使用liger的total_peak_memory_reserved_MB: 19322.0
  • 不使用liger的total_peak_memory_reserved_MB: 37314.0,

llama-factory支持-仅需9G显存(单卡A10)

在魔搭社区免费算力使用llama-factory+liger微调Qwen2

安装依赖

!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
%cd LLaMA-Factory
!pip install -e .
!pip install transformers -U
!pip install liger-kernel

加载数据集

import json
%cd /mnt/workspace/LLaMA-Factory/
NAME = "Qwen-2"
AUTHOR = "LLaMA Factory"
with open("data/identity.json", "r", encoding="utf-8") as f:
  dataset = json.load(f)
for sample in dataset:
  sample["output"] = sample["output"].replace("{{"+ "name" + "}}", NAME).replace("{{"+ "author" + "}}", AUTHOR)
with open("data/identity.json", "w", encoding="utf-8") as f:
  json.dump(dataset, f, indent=2, ensure_ascii=False)

微调模型

import json
from modelscope import snapshot_download
model_dir = snapshot_download("LLM-Research/Qwen2-7B-Instruct-bnb-4bit")
args = dict(
  stage="sft",                        # do supervised fine-tuning
  do_train=True,
  model_name_or_path=model_dir, # use bnb-4bit-quantized Qwen2-7B-4bit model
  dataset="identity,alpaca_en_demo",             # use alpaca and identity datasets
  template="qwen",                     # use llama3 prompt template
  finetuning_type="lora",                   # use LoRA adapters to save memory
  lora_target="all",                     # attach LoRA adapters to all linear layers
  output_dir="qwen2_lora",                  # the path to save LoRA adapters
  per_device_train_batch_size=2,               # the batch size
  gradient_accumulation_steps=4,               # the gradient accumulation steps
  lr_scheduler_type="cosine",                 # use cosine learning rate scheduler
  logging_steps=10,                      # log every 10 steps
  warmup_ratio=0.1,                      # use warmup scheduler
  save_steps=1000,                      # save checkpoint every 1000 steps
  learning_rate=5e-5,                     # the learning rate
  num_train_epochs=3.0,                    # the epochs of training
  max_samples=500,                      # use 500 examples in each dataset
  max_grad_norm=1.0,                     # clip gradient norm to 1.0
  loraplus_lr_ratio=16.0,                   # use LoRA+ algorithm with lambda=16.0
  fp16=True,                         # use float16 mixed precision training
  enable_liger_kernel=True,                   # use liger kernel for efficient training
)
json.dump(args, open("train_qwen2.json", "w", encoding="utf-8"), indent=2)
%cd /mnt/workspace/LLaMA-Factory
!llamafactory-cli train train_qwen2.json

性能对比,显存节约24%

使用liger

image.png

不使用liger

image.png

对比图

image.png

魔搭的SWIFT框架也已经集成了Liger Kernel,首先确保swift和liger-kernel都安装了:

pip install ms-swift -U
pip install liger-kernel

通过如下swift命令行,就可以启用Liger-Kernel,使用aplaca-en数据集来微调qwen2-7b-instruct。在这个例子里,我们采用的是非量化版本的qwen2-7b模型。同时为了保证训练过程中显存的稳定性,命令行里指定了packing参数,确保每个训练sequence都是等长的。

# 为了保证显存的稳定性,我们使用了--packing参数,保证每个sequence都是等长的
# --use_liger true/false 即可切换使用Liger Kernel
swift sft \
  --model_type qwen2-7b-instruct \
  --dataset alpaca-en#5000 \
  --use_liger true \
  --sft_type lora \
  --target_modules ALL \
  --learning_rate 1e-5 \
  --packing true \
  --max_length 2048

使用Liger Kernel的显存占用情况:

image.png

不使用Liger Kernle的显存占用情况:

image.png

对比图

image.png

可以看到对于非量化版本的qwen2-7b训练,Liger Kernel同样可以提供稳定的显存节省。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
5月前
|
人工智能 机器人 Serverless
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
736 2
|
12月前
|
人工智能 搜索推荐 物联网
VeRA: 性能相当,但参数却比LoRA少10倍
2022年的LoRA提高了微调效率,它在模型的顶部添加低秩(即小)张量进行微调。模型的参数被冻结。只有添加的张量的参数是可训练的。
66 0
|
4月前
|
机器学习/深度学习 算法 开发工具
【YOLOv8量化】普通CPU上加速推理可达100+FPS
【YOLOv8量化】普通CPU上加速推理可达100+FPS
561 0
|
2月前
|
机器学习/深度学习 并行计算 PyTorch
GPU 加速与 PyTorch:最大化硬件性能提升训练速度
【8月更文第29天】GPU(图形处理单元)因其并行计算能力而成为深度学习领域的重要组成部分。本文将介绍如何利用PyTorch来高效地利用GPU进行深度学习模型的训练,从而最大化训练速度。我们将讨论如何配置环境、选择合适的硬件、编写高效的代码以及利用高级特性来提高性能。
281 1
|
2月前
|
存储 机器学习/深度学习 算法
Adam-mini:内存占用减半,性能更优的深度学习优化器
论文提出一种新的优化器Adam-mini,在不牺牲性能的情况下减少Adam优化器的内存占用。
104 10
Adam-mini:内存占用减半,性能更优的深度学习优化器
|
3月前
|
机器学习/深度学习 存储 算法
|
3月前
|
机器学习/深度学习 自然语言处理 算法
ICML 2024:零阶优化器微调大模型,大幅降低内存
【7月更文挑战第14天】ICML 2024研究表明,零阶优化用于大模型微调能大幅降低内存需求。该论文通过避免反向传播,减少LLM(大型语言模型)微调的内存开销,提出新方法,适用于资源受限环境。虽然性能可能不及一阶优化器,但为高效NLP计算开辟了新途径。论文链接:[arxiv.org/abs/2402.11592](https://arxiv.org/abs/2402.11592)**
64 3
|
机器学习/深度学习 并行计算 异构计算
gpu是什么和cpu的区别 模型训练
gpu是什么和cpu的区别 模型训练
711 1
|
存储 弹性计算 虚拟化
基于阿里云eRDMA的GPU实例大幅提升多机训练性能
2023年3月23日14:00(中国时间),NVIDIA GTC开发者大会,阿里云开发者社区观看入口正式开放,阿里云高级技术专家李伟男;阿里云弹性计算产品专家宋迪共同带来了题为《基于阿里云eRDMA的GPU实例大幅提升多机训练性能》的分享
基于阿里云eRDMA的GPU实例大幅提升多机训练性能
|
存储 编解码 算法
全新剪枝框架 | YOLOv5模型缩减4倍,推理速度提升2倍(二)
全新剪枝框架 | YOLOv5模型缩减4倍,推理速度提升2倍(二)
437 0