zero-shot分类模型可以作下游的自有数据作微调吗?
zero-shot分类模型是基于自然语言推理任务构建的,具体实现方式可以参考一下评测文章探索ModelScope之零样本分类中的原理分析部分。这导致了zero-shot模型的训练任务与下游任务并不完全一致。目前modelscope中还未支持直接使用下游任务进行微调,具体实现方式我们也在考量中,敬请期待后续版本的更新。
若想在现有的基础上使用自有数据进行微调,可以将分类任务统一转化为自然语言推理任务,例如一个多分类任务:
待分类样本为:世界那么大,我想去看看。
所有类别为:旅游,家居,科技
标签为:旅游
那么,可生成以下三个训练数据对zero-shot分类模型进行微调:
1.premise:世界那么大,我想去看看,hypothesis:旅游,label: entailment。
2.premise:世界那么大,我想去看看,hypothesis:家居,label: contradiction。
3.premise:世界那么大,我想去看看,hypothesis:科技,label: contradiction。