一个能够辨别古琴“羽”音、解析京剧“宫调转徵调”的AI系统是如何炼成的？
当传统五声音阶遇上现代大模型，AI不仅“听见”了音乐，更“听懂”了千年的文化密码。
项目背景：从“听见”到“听懂”
在数字化浪潮的推动下，音乐正成为人机交互的重要媒介。然而，当前大多数AI语音系统仍停留在“语音识别”层面——能识别“说了什么”，却难以理解一段旋律“表达了什么”。对于蕴含深厚文化底蕴的中国传统音乐而言，这一局限尤为明显。
真正的挑战在于：
● 如何让AI分辨古琴曲中细腻的“徵”音与“羽”音？
● 如何让虚拟戏曲角色的唱腔精准契合“宫调”的情感色彩？
● 如何为民族音乐学习者提供一个能实时反馈、精准指导的智能助手？
为此，我们基于 Qwen2-Audio-7B-Instruct 模型，通过领域适配性微调，构建了一套能够深度理解传统音乐语义的智能系统。该系统不仅融合了五声音阶（宫、商、角、徵、羽） 的声学特征，更在文化语境与情感表达层面实现了突破，让技术真正服务于文化的传承与创新。
系统构建：从“微调”到“评估”
我们采用 LoRA 微调方法，在保持模型原有能力的基础上，注入音乐领域的专业知识。微调过程总时长约1h18min。
资源配置与准备
配置参数 |
选型 |
说明 |
基础模型 |
Qwen2-Audio-7B-Instruct |
70亿参数，支持多语言语音理解与生成，具备情感、语调、环境音感知能力 |
微调数据集 |
CNPM_audio_train（预置） |
聚焦传统音乐词汇与调式识别，适用于音乐教育、乐曲分析等场景 |
GPU 资源 |
H800A×4（推荐） |
80GB 显存/卡，保障训练效率与稳定性 |
微调方法 |
LoRA（Low-Rank Adaptation） |
低秩适配，显著降低显存与计算开销，便于后续部署 |
微调过程全记录
进入 LLaMA-Factory Online「实例空间」页面后开始进行微调，在「配置资源」页面选择4卡 H800A GPU 资源，其他参数保持为默认值即可。待实例启动后，点击「LLaMA-Factory快速微调模型」页签，进入 LLaMA-Factory Online 在线WebUI微调配置页面，根据实际需求进行模型选型和参数配置。
参数配置完成后，点击“开始”按钮启动微调任务。页面底部将实时显示微调过程中的日志信息，同时展示当前微调进度及 Loss 变化曲线。经过多轮微调后可以看出 Loss 逐渐趋于收敛，直到系统提示“训练完毕”。
效果评估与对比
训练完成后，我们从定性对话测试与定量指标评估两个维度验证系统效果。
通过对比微调模型与原生模型的输出结果可以发现，微调后的模型在角色扮演方面表现出更强的契合度，其回答不仅更贴近系统预设的角色定位，也更符合用户的认知预期。
我们切换至“Evaluate & Predict”页面，选择微调后模型的检查点路径，然后选择平台预置的 CNPM_audio_train 数据集，并根据实际需求配置评估参数（本实践的参数设置如下图所示）。
配置完成后，点击“开始”按钮即可启动评估，页面底部将实时显示评估过程中的日志信息，评估完成后，记录评估结果，结果如下所示。
{ "predict_bleu-4": 52.251510546875, "predict_model_preparation_time": 0.0068, "predict_rouge-1": 69.82624921875, "predict_rouge-2": 60.547182421875, "predict_rouge-l": 69.466005859375, "predict_runtime": 37.407, "predict_samples_per_second": 6.496, "predict_steps_per_second": 0.107 }
各项指标均表明生成内容与参考答案在词汇、短语、句子结构和语义连贯性上高度匹配，具备良好的语言流畅性和信息覆盖能力。
我们在同一测试集上对比了微调前后的模型性能。
评估指标 |
微调前 |
微调后 |
提升效果 |
BLEU-4 |
3.55 |
52.25 |
提升14倍 |
ROUGE-L |
7.93 |
69.47 |
提升近9倍 |
对比微调后模型评估与原生模型评估结果可以看出，微调后模型在生成质量上表现优异（BLEU-4: 52.25, ROUGE-L: 69.47），表明其能生成语义准确、结构连贯的高质量输出；原生模型所有生成指标极低（BLEU-4: 3.55, ROUGE-L: 7.93），说明模型未能有效理解或生成相关内容。这反映出微调后模型生成文本在术语准确性、结构连贯性和语义完整性上接近专业参考答案，已达到实用化水平。
技术最有温度的时刻，莫过于它真正理解并尊重了人的文化。这次实践最令人振奋的，不是 BLEU 分数提升了多少，而是当 AI 第一次准确识别出一段京剧唱腔中的“宫调转徵调”时，我们看到的可能性——技术不仅能提升效率，更能成为文化传承的桥梁。未来，LLaMA-Factory Online 期待进一步融合多模态感知、乐谱生成等能力，构建覆盖“听、析、创”全链路的智能音乐系统，推动人工智能在文化艺术领域的深度赋能。
