❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新应用和热点信息，提供开源实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 技术核心：通过教师模型生成合成数据，增强学生模型的训练集。
- 迭代优化：通过多次迭代，逐步改进模型性能，针对性地解决模型弱点。
- 应用场景：适用于医学、法律、教育等领域，尤其在数据稀缺任务中表现优异。
正文（附运行示例）
LLM2LLM 是什么
LLM2LLM 是一种创新的迭代数据增强策略，旨在提升大型语言模型（LLM）在数据稀缺情况下的性能。该方法通过一个强大的教师模型生成合成数据，增强学生模型的训练数据集。
具体来说，学生模型首先在有限的种子数据上进行微调，然后教师模型会识别学生模型在预测中的错误，并基于这些错误生成新的合成数据。这些合成数据随后被加入到训练集中，形成一个循环迭代的过程。LLM2LLM 的优势在于能够有效地减少对大规模标注数据的依赖，同时针对性地解决学生模型的弱点，在低数据量任务中显著提高模型的准确性和鲁棒性。
LLM2LLM 的主要功能
- 数据增强：通过教师模型生成与学生模型预测错误的数据点相似的新数据点，从而增强训练数据集。
- 迭代学习：该方法通过迭代过程逐步改进模型，每次迭代都针对模型当前表现不佳的数据点进行增强。
- 针对性强化：专注于增强那些模型预测错误的数据点，而不是盲目地增强所有数据。
- 质量控制：通过限制使用教师模型生成的数据，防止错误的传播和数据质量的下降。
- 避免数据膨胀：限制合成数据生成的范围，仅在原始错误答案的基础上进行增强，避免数据膨胀。
LLM2LLM 的技术原理
- 初始微调：首先，在一个小规模的种子数据集上对学生模型进行初步微调，让学生模型具备一定的基础能力。
- 性能评估与错误提取：评估学生模型的表现，识别出模型在哪些方面存在不足，并筛选出模型预测错误的数据点。
- 合成数据生成：基于评估结果，教师模型会生成新的、针对性的训练数据，专门设计用来解决学生模型的弱点。
- 迭代优化：将新生成的数据加入到现有数据集中，重新训练学生模型，通过多次迭代逐步提升模型性能。
如何运行 LLM2LLM
1. 下载 LLaMA-2-7B 模型和数据集
首先，下载 LLaMA-2-7B 模型和相应的数据集。
2. 克隆 GSM8K 数据集
运行以下命令克隆 GSM8K 数据集：
cd GSM8K
git clone https://github.com/openai/grade-school-math.git
3. 生成种子数据
运行 generate_seed_data.py 脚本，并调整 SUBSAMPLE_SPLIT 参数以获取种子数据。
4. 配置 config.yaml
确保 config.yaml 文件中的所有设置准确无误。
5. 运行数据生成脚本
运行以下命令生成数据：
python GSM8K/generator_data.py GSM8K/config.yaml
6. 运行实验
进入实验文件夹并运行以下命令：
./run_all.sh
7. 生成结果报告
在所有迭代完成后，运行以下命令生成详细的性能报告：
python report_results.py --results_file_name test_0.jsonl GSM8K/grade-school-math/grade_school_math/data/test.jsonl $EXP_FOLDER
资源
- GitHub 仓库：https://github.com/SqueezeAILab/LLM2LLM
- arXiv 技术论文：https://arxiv.org/pdf/2403.15042
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新应用和热点信息，提供开源实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
