大模型微调开源框架推荐

1. LLaMA-Factory

• 「GitHub」: https://github.com/hiyouga/LLaMA-Factory

• 「特点」:

• 支持 100+ 种 LLM 的微调（LLaMA、Mistral、Qwen、ChatGLM 等）

• 提供 WebUI 界面，零代码微调

• 支持 LoRA、QLoRA、全参数微调等多种方法

• 内置数据集处理和评估功能

2. PEFT (Parameter-Efficient Fine-Tuning)

• 「GitHub」: https://github.com/huggingface/peft

• 「特点」:

• Hugging Face 官方出品

• 支持 LoRA、Prefix Tuning、P-Tuning、Adapter 等方法

• 与 Transformers 库深度集成

• 显存占用低，适合消费级显卡

3. Axolotl

• 「GitHub」: https://github.com/OpenAccess-AI-Collective/axolotl

• 「特点」:

• 配置驱动，通过 YAML 文件定义训练流程

• 支持多种模型和微调方法

• 内置 DeepSpeed、FSDP 分布式训练支持

4. Unsloth

• 「GitHub」: https://github.com/unslothai/unsloth

• 「特点」:

• 训练速度提升 2-5 倍，显存减少 80%

• 支持 LLaMA、Mistral、Gemma 等模型

• 对 QLoRA 优化极佳

5. DeepSpeed

• 「GitHub」: https://github.com/microsoft/DeepSpeed

• 「特点」:

• 微软出品，专注大规模分布式训练

• ZeRO 优化器大幅降低显存需求

• 适合超大模型训练

6. Swift (ModelScope)

• 「GitHub」: https://github.com/modelscope/swift

• 「特点」:

• 阿里达摩院出品

• 对国产模型（Qwen、ChatGLM）支持好

• 提供完整的训练、推理、部署流程

快速选择建议