edisonleejt_个人页

2024年12月

• 12.24 16:53:49
  发表了文章 2024-12-24 16:53:49

  基于Qwen 2.5的世界科学智能大赛冠军方案

  本方案基于通义千问模型，采用多阶段的Easy-to-Hard数据合成方法，模拟人类学习的由简单到困难的思路，逐阶段构造多样化的训练数据。数据生成阶段，训练数据的标签，引入了“Chain-of-Thought”思维链模式，生成多样化的推理路径，逐步对齐推理Scaling Law。训练阶段，采用了LoRA对通义千问32B模型在合成数据集上进行参数高效微调。推理阶段，使用了4bit低精度量化，并结合vLLM框架进行推理加速，最终达到准确性、效率和显存利用率的统一。