关于微调概念这里不做介绍,网上百度有的是,这里就是实战,让你做第一微调,话不多说直接上实战。
1.第一步环境安装:资金有限我没有自己的环境,是使用了魔塔社区提供的环境,进入魔塔社区(https://www.modelscope.cn/)-我的Notebook,进入方式二GPU环境。
2.第二步数据处理:我使用的是魔塔社区的 delicate_medical_r1_data 数据集,该数据集主要被用于医学对话模型。本步骤需要执行数据处理代码,这里步显示,后续章节我统一导出来了顺序代码,按照顺序执行即可,执行完这部后代码目录下会出现训练集train.jsonl和验证集val.jsonl文件。
3.第三步加载模型:我使用modelscope下载Qwen3-1.7B模型。
4.第四步使用Swanlab工具:去https://swanlab.cn上注册一个账号,然后在Nootbook环境中打开一个Terminal,首先输入:swanlab login 输入后他会让你输入APIkey,这时候去swanlab设置中复制你的API输入,这里注意输入时候是没有显示的,不用管直接ctrl+C然后回车即可。
5.第五步完整代码:(前边的处理过程需要执行代码我都没与写,这里统一输出代码)我把我环境的完整流程从第一步需要输出的代码按照顺序都导出了,你按照我的顺序复制粘贴代码即可。
代码中的os.environ["SWANLAB_PROJECT"]="qwen3-sft-medical" qwen3-sft-medical是你在Swanlab工作区里的项目名称不用去Swanlab配置,自动生成的。
args = TrainingArguments(
output_dir="/root/autodl-tmp/output/Qwen3-1.7B", 这里是你最后微调模型输出的位置
...
report_to="swanlab",
run_name="qwen3-1.7B",
)
run_name="qwen3-1.7B"中的qwen3-1.7B是项目中实验名,这两个部分你自己想气起什么名字自己定即可。
https://modelscope.cn/notebook/share/ipynb/9e5e5b24/train.ipynb
这里是完全的代码,可以按照这个顺序执行。下图是执行的过程图
第6.六步训练演示:
代码:完整代码在https://modelscope.cn/notebook/share/ipynb/9e5e5b24/train.ipynb
实验显示过程:https://swanlab.cn/@woshisunwukong/qwen3-sft-medical/runs/i9px1vrsz4a93ywzkbd18/chart
模型:Modelscope
数据集:delicate_medical_r1_data
SwanLab:https://swanlab.cn