参考论文信息
论文名称:《采用平衡函数的大规模多标签文本分类》
发布期刊:《计算机工程与应用》
期刊信息:CSCD扩展版
难以想象我5分钟就把这篇论文看完了。。。难以想象我投的论文现在2个多月都没信,这种论文也能刊CSCD。。。
创新点
首先,文章说大规模多标签文本分类标签呈现长尾分布。为了解决这个这问题,文章说CV领域使用平衡函数,通过调整类别权重,解决标签分布不平衡问题。介绍了3种:
1、Focalloss(FL),在损失函数中增加了调制因子,减少分类良好的头部标签样本的损失,把模型的分类重点放在尾部标签上 。
2、class-balanced loss(CB),通过在损失函数上估计不同类别中的有效样本数量方法,调整不同类别的损失权重,减少头部标签的冗余信息。
3、 distribution-balanced loss(DB),考虑了头部标签和尾部标签共同出现的情况会影响模型对头部标签的分类能力,增加了一个权重使得模型能在这种情况下能提高分类性能。
所以论文的创新点是:使用FL平衡函数应用在多标签文本分类的损失函数上:
原始交叉熵损失函数:
加了FL之后:
其他地方没有任何特色。模型就是BERT+全连接层。
【注】模型介绍、对比实验、消融实验写的很大众化,没什么意思,就不讲了