【论文代码】① STIOCS: Active learning-based semi-supervised training framework for IOC extraction

简介: 【论文代码】① STIOCS: Active learning-based semi-supervised training framework for IOC extraction



写在最前面

论文 STIOCS: Active learning-based semi-supervised training framework for IOC extraction

代码解读:https://github.com/MuscleFish/SeqMask.

DataDeal.py

FastTextDeal

getToken方法

getToken方法接受一个参数words,默认值为空字符串。这个方法的目的是将输入的字符串或字符串列表进行分词处理。如果输入的words是一个字符串,那么它会被cut_sentences函数处理,并将结果作为一个列表返回。如果输入的words是一个列表,那么列表中的每个元素都会被cut_sentences函数处理,并将所有结果作为一个列表返回。如果输入的words既不是字符串也不是列表,那么这个方法将返回一个空列表。

def getToken(self, words=""):
        if isinstance(words, str):
            return [cut_sentences(words)]
        if isinstance(words, list):
            return [cut_sentences(w) for w in words]
        return []

clean_sentences方法

clean_sentences方法接受一个参数max_sentence,它的目的是清理paper_emb_list列表中的每个元素。这个方法首先创建一个空列表clear_pem,然后遍历paper_emb_list中的每个元素。对于每个元素,它首先获取其形状,然后检查形状的长度。如果形状的长度为3,那么它会使用numpy.pad函数对元素进行填充,以使其第一维度的长度等于max_sentence,然后将填充后的元素重塑为一个新的形状,并将其添加到clear_pem列表中。如果形状的长度不为3,那么它会创建一个全零的新元素,并将其添加到clear_pem列表中。最后,这个方法使用numpy.concatenate函数将clear_pem列表中的所有元素沿着第0轴连接起来,并返回结果。

def clean_sentences(self, max_sentence):
        clear_pem = []
        for pem in self.paper_emb_list:
            pem_shape = pem.shape
            if len(pem_shape) == 3:
                npem = np.pad(pem, ((0, max_sentence - pem.shape[0]), (0, 0), (0, 0)), 'constant',
                              constant_values=(0, 0))
                npem = np.reshape(npem, (1, npem.shape[0], npem.shape[1], npem.shape[2]))
                clear_pem.append(npem)
            else:
                clear_pem.append(
                    np.zeros((1, max_sentence, self.paper_emb_list[0].shape[1], self.paper_emb_list[0].shape[2])))
        return np.concatenate(clear_pem, axis=0)

getEmbedding方法

getEmbedding方法是FastTextDeal类的一部分,它的目的是获取输入词汇的嵌入表示。

这个方法接受三个参数:words(默认为空字符串)、tokens(默认为None)和max_len(默认为512)。如果没有提供tokens,那么它会使用getToken方法获取words的分词。

如果tokens的长度为0,那么这个方法将返回None。如果tokens的第一个元素的长度小于或等于1,那么它会使用FastTextModelembedding方法获取tokens的嵌入表示,并将结果返回。

如果tokens的第一个元素的长度大于1,那么这个方法将对tokens中的每个元素进行处理。对于每个元素,它首先将其转换为一个列表,然后使用FastTextModelembedding方法获取这个列表的嵌入表示,并将结果添加到paper_emb_list列表中。同时,它还会更新max_sentence的值,使其等于paper_emb_list中所有元素的第一维度的最大长度。最后,这个方法使用clean_sentences方法清理paper_emb_list,并将结果返回。

def getEmbedding(self, words="", tokens=None, max_len=512):
        if not tokens:
            tokens = self.getToken(words)
        if len(tokens) <= 0:
            return None
        if len(tokens[0]) <= 1:
            return self.FastTextModel.embedding(tokens, max_row=max_len)
        else:
            max_sentence = 0
            self.paper_emb_list = []
            for i, paper in enumerate(tokens):
                paper_text = [[w] for w in paper]
                print(i + 1, '/', len(tokens))
                paper_emb = self.FastTextModel.embedding(paper_text, max_row=max_len)
                max_sentence = max(paper_emb.shape[0], max_sentence)
                self.paper_emb_list.append(paper_emb)
                print(self.paper_emb_list[-1].shape, max_sentence)
            return self.clean_sentences(max_sentence)

全部代码

from DataPreprocess import cut_sentences
import joblib
import numpy as np
class FastTextDeal(object):
    def __init__(self):
        self.FastTextModel = joblib.load("./FastTextModels/fastText_20210126.model")
        self.paper_emb_list = []
    def getToken(self, words=""):
        if isinstance(words, str):
            return [cut_sentences(words)]
        if isinstance(words, list):
            return [cut_sentences(w) for w in words]
        return []
    def clean_sentences(self, max_sentence):
        clear_pem = []
        for pem in self.paper_emb_list:
            pem_shape = pem.shape
            if len(pem_shape) == 3:
                npem = np.pad(pem, ((0, max_sentence - pem.shape[0]), (0, 0), (0, 0)), 'constant',
                              constant_values=(0, 0))
                npem = np.reshape(npem, (1, npem.shape[0], npem.shape[1], npem.shape[2]))
                clear_pem.append(npem)
            else:
                clear_pem.append(
                    np.zeros((1, max_sentence, self.paper_emb_list[0].shape[1], self.paper_emb_list[0].shape[2])))
        return np.concatenate(clear_pem, axis=0)
    def getEmbedding(self, words="", tokens=None, max_len=512):
        if not tokens:
            tokens = self.getToken(words)
        if len(tokens) <= 0:
            return None
        if len(tokens[0]) <= 1:
            return self.FastTextModel.embedding(tokens, max_row=max_len)
        else:
            max_sentence = 0
            self.paper_emb_list = []
            for i, paper in enumerate(tokens):
                paper_text = [[w] for w in paper]
                print(i + 1, '/', len(tokens))
                paper_emb = self.FastTextModel.embedding(paper_text, max_row=max_len)
                max_sentence = max(paper_emb.shape[0], max_sentence)
                self.paper_emb_list.append(paper_emb)
                print(self.paper_emb_list[-1].shape, max_sentence)
            return self.clean_sentences(max_sentence)
目录
相关文章
|
2月前
|
机器学习/深度学习 网络协议 PyTorch
【文献学习】DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
本文介绍了一种新的深度复数卷积递归网络(DCCRN),用于处理语音增强问题,特别是针对低模型复杂度的实时处理。
34 5
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【文献学习】Phase-Aware Speech Enhancement with Deep Complex U-Net
文章介绍了Deep Complex U-Net模型,用于复数值的语音增强,提出了新的极坐标掩码方法和wSDR损失函数,并通过多种评估指标验证了其性能。
36 1
|
5月前
|
存储 JSON 算法
【论文代码】②.1 STIOCS: Active learning-based semi-supervised training framework for IOC extraction
【论文代码】②.1 STIOCS: Active learning-based semi-supervised training framework for IOC extraction
31 0
|
机器学习/深度学习 人工智能 自然语言处理
OneIE:A Joint Neural Model for Information Extraction with Global Features论文解读
大多数现有的用于信息抽取(IE)的联合神经网络模型使用局部任务特定的分类器来预测单个实例(例如,触发词,关系)的标签,而不管它们之间的交互。
162 0
|
机器学习/深度学习 资源调度 算法
【RLchina第四讲】Model-Based Reinforcement Learning(上)
【RLchina第四讲】Model-Based Reinforcement Learning(上)
575 0
|
机器学习/深度学习 算法
【RLchina第四讲】Model-Based Reinforcement Learning(下)
【RLchina第四讲】Model-Based Reinforcement Learning(下)
162 0
|
机器学习/深度学习 开发框架 数据建模
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
远程监督假设任何包含相同实体对的句子都反映了相同的关系。先前的远程监督关系抽取(DSRE)任务通常独立地关注sentence-level或bag-level去噪技术
162 0
|
机器学习/深度学习 自然语言处理 算法
Multimedia Event Extraction From News With a Unified Contrastive Learning Framework论文解读
从新闻中提取事件在下游应用程序中有很多好处。然而,今天的事件提取(EE)系统通常专注于单一的模态——无论是文本还是图像
167 0
|
机器学习/深度学习 编解码 数据可视化
Speech Emotion Recognition With Local-Global aware Deep Representation Learning论文解读
语音情感识别(SER)通过从语音信号中推断人的情绪和情感状态,在改善人与机器之间的交互方面发挥着至关重要的作用。尽管最近的工作主要集中于从手工制作的特征中挖掘时空信息,但我们探索如何从动态时间尺度中建模语音情绪的时间模式。
127 0
|
机器学习/深度学习 移动开发 编解码
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
190 0
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation