【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification

简介: 文章提出了一种简单确高效地构建verbalization的方法:

阅读摘要



 文章提出了一种简单确高效地构建verbalization的方法:


1. 对于每个标签image.png,迭代所有的训练样本image.pngimage.png的基础真值标签也为image.png。使用模型来预测[MASK]标记的标记概率,并将这n个样本的预测概率的平均值取为image.png ,其中image.png是在整个词汇表上的向量,表示对词汇表上的每个词的平均概率。



2. 对于每个image.png,初始化一个空的候选令牌集image.png。  


3. 对于每个image.png,其中V是模型的词汇表,我们从每个标签的image.png中检索v的概率值image.png


4. 遍历所有的标签,每个标签都有一个z,遍历每个位置,将v赋给第m类的最可能令牌集image.png

假设有3个标签,词汇表有2000,那么Z的形状为3*2000,然后遍历词汇表[0-1999],每个词我们去比较它在3个标签上的概率,取最大的然后放入这个标签对应的image.png中。

5. 对于image.png,我们从image.png中选取概率z^v_i最大的top-k个令牌,得到截断的词集image.png


目录
打赏
0
0
0
0
176
分享
相关文章
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
111 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
172 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
Global Constraints with Prompting for Zero-Shot Event Argument Classification 论文解读
确定事件论元的角色是事件抽取的关键子任务。大多数以前的监督模型都利用了昂贵的标注,这对于开放域应用程序是不实际的。
90 0
论文笔记之:Heterogeneous Image Features Integration via Multi-Modal Semi-Supervised Learning Model
Heterogeneous Image Features Integration via Multi-Modal Semi-Supervised Learning Model ICCV 2013      本文提出了一种结合多种传统手工设计 feature 的多模态方法,在 label propagation 的基础上进行标签传递,进行半监督学习,综合利用各种 feature 的优势,自适应的对各种feature 的效果进行加权,即:对于判别性较好的 feature给予较高的权重,较差的 feature 给予较低的权重,然后将整个流程融合在一个框架中进行学习。
GTEE-DYNPREF: Dynamic Prefix-Tuning for Generative Template-based Event Extraction 论文解读
我们以基于模板的条件生成的生成方式考虑事件抽取。尽管将事件抽取任务转换为带有提示的序列生成问题的趋势正在上升,但这些基于生成的方法存在两个重大挑战
173 0
【多标签文本分类】HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization
【多标签文本分类】HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization
235 0
【多标签文本分类】HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
本文是较早把Prompt应用到层级多标签文本分类领域的论文。思路是把层级标签分层编入到Pattern中,然后修改损失函数以适应多标签的分类任务。
283 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等