暂无个人介绍
Re6:读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro
本文介绍multi-class分类任务中的模型评估指标及其使用Python的实现方式(包括使用sklearn进行实现,以及使用原生Python函数进行实现的操作)。 本文使用的示例是在英文多标签文本分类数据集AAPD数据集上,使用fastText包运算得到的多标签分类结果,与真实标签之间计算对应的指标结果(原则上使用one-label标签应该也能这么算,我就不另写了)。本文第一节将介绍相应数据的处理方式,第二节及其后是各指标的原理和计算方式。
NLTK是自然语言处理中常用的Python包,本文是NLTK包的一个简单的使用教程。
functools是对已有的函数(callable对象)的进行操作,生成新的函数(callable对象)。本文介绍functools的函数和对象。 持续更新。
Python3常用其他API速查手册(持续更新ing...)
sent2vec是用于无监督学习词、短文本、句的Python包。本文是sent2vec的简易教程,包括安装教程和简单的使用方法。文中使用英语文本作为示例。 sent2vec除文中所提及内容之外的功能,以后可能会继续补充到本博文中。
本文介绍fastText Python包的基本教程,包括安装方式和简单的使用方式。
本文介绍spacy模型的使用方式,即spacy的API使用教程。spacy包的API基本都要靠特定模型(trained pipeline)来使用,本文主要用英文(en_core_web_sm)和中文(zh_core_web_sm)来做示例,毕竟我就只会这两种语言。 spacy模型官网:Trained Models & Pipelines · spaCy Models Documentation
本文将介绍jieba、HanLP、LAC、THULAC、NLPIR、spacy、stanfordcorenlp、pkuseg等多种常用的Python中文分词工具的简单使用方法。
本文将介绍一些简单的使用Python3实现关键词提取的算法。目前仅整理了一些比较简单的方法,如后期将了解更多、更前沿的算法,会继续更新本文。
本文介绍Linux中常用的命令行。
Anaconda是一个Python和R语言的工具,专注于数据科学领域。由于我只使用Python,因此本文只会介绍Python相关的内容。 本文介绍使用Anaconda相关使用教程。
本文的结构是首先介绍一些常见的损失函数,然后介绍一些个性化的损失函数实例。
NLTK是自然语言处理中常用的Python包,本文介绍NLTK包的安装方式,以及在这一安装过程中常见的坑。 NLTK官网:NLTK :: Natural Language Toolkit NLTK的安装分为Python包的安装和NLTK data的安装,以下会分别对其进行介绍。
spacy是自然语言处理中常用的Python包,本文介绍spacy包及其配套语言包的安装方式。
PDF是文档常用格式,使用Python包PyPDF2可以对PDF文档实现批量、迅速的操作,包括提取文字、切分或合并PDF文件、创建annotation、加密和解密等。本文将介绍PyPDF2包的安装及简单使用方式。 PyPDF的GitHub项目官网:py-pdf/PyPDF2: A pure-python PDF library capable of splitting, merging, cropping, and transforming the pages of PDF files
TensorFlow安装教程
本文介绍如何使用TeXLive+VSCode实现Windows系统上可以本地实现对LaTeX文件的操作,包括阅读、编写和编译等。 本文基本使用默认普遍使用的选项进行安装,可能会根据作者对相关功能的理解进行后续更新。
主题论文总结3:维基百科生成任务(持续更新ing...)
wandb使用教程(持续更新ing...)
pyrouge和rouge在Linux上的安装方法以及结果比较
本文将介绍Python编程时节省内存的方法。 其实我一般使用CPU运行代码时不太有内存问题,主要是在用GPU时会遇到OOM问题,需要节省内存。因此本文接下来的内容会涉及CPU、GPU通用的方法,和使用GPU(主要是使用PyTorch框架)时的解决方案。
VSCode编程小技巧集锦(持续更新ing...)
本部分以文本分类任务为例,介绍transformers上如何微调预训练模型。
本文是作者在使用huggingface的datasets包时,出现无法加载数据集和指标的问题,故撰写此博文以记录并分享这一问题的解决方式。以下将依次介绍我的代码和环境、报错信息、错误原理和解决方案。首先介绍数据集的,后面介绍指标的。
ValueError: empty range for randrange() (0, 0, 0)
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
本部分介绍了一些常见NLP任务使用transformers包的解决方案。本文使用的AutoModel具体内容可以参阅其文档,也可以参考我此前的撰写的transformers包文档笔记,我介绍了一些相关的用法和示例代码。
Re5:读论文 TWAG: A Topic-guided Wikipedia Abstract Generator
torchtext安装教程
本文是PyTorch的教程Dynamic Quantization — PyTorch Tutorials 1.11.0+cu102 documentation的学习笔记。事实上由于我对该领域的不了解,本篇笔记基本上就是翻译+一点点我对其的理解。 本文介绍如何用Dynamic Quantization加速一个LSTM1模型的推理过程。Dynamic Quantization减少了模型权重的尺寸,加速了模型处理过程。 本文代码及全部输出已以jupyter notebook格式展示在GitHub上,可以直接下载运行:all-notes-in-one/dynamicquantization.ipyn
什么是ablation study(消融实验)?
huggingface.transformers术语表
本部分介绍transformers包的开发哲学。 由于我学艺不精,对本部分一些介绍并不理解其涵义,因此在此处只能仅作翻译,对其诠释不足。等以后学会了再来写。
本部分介绍transformers包如何安装,安装后如何检验是否安装成功,以及cache的设置和离线模式如何操作。
PyTorch是学习深度学习时常用的Python神经网络框架,本文将介绍其部分版本的安装方式。Windows和Linux通用。 作者使用anaconda作为管理虚拟环境的工具。以下工作都在虚拟环境中进行,对Python和Aanaconda的安装及对虚拟环境的管理本文不作赘述,后期可能会撰写相关的博文。
本部分首先介绍如何使用pipeline()进行快速推理,然后介绍AutoClass:用AutoModel加载预训练模型、用tokenizer将文本转化为模型的数字输入、用AutoConfig来改变模型超参、用AutoFeatureExtractor加载预训练的feature extractor、用AutoProcessor加载预训练的processor。 本文将仅关注PyTorch语言,但对TensorFlow语言的适配在本部分文档也有描述。
本文介绍Python3 list和str对象的加减乘除操作及其结果。
本文仅讨论Python3(以Python3.7.2版本来测试实验结果)环境下list(数组)元素不去重合并的问题。 以下给出4种解决方案,按顺序详细描写:1. 直接相加。2. 使用 extend() 函数整体合并。3. 使用 append() 逐一添加元素。4. 使用数组切片的方式。
本文是作者在学习文本摘要任务的过程中,根据学习资料总结逐步得到并整理为成文的相关内容。相关学习资料(包括论文、博文、视频等)都会以脚注等形式标明。有一些在一篇内会导致篇幅过长的内容会延伸到其他博文中撰写,但会在本文中提供超链接。 本文将主要列举里程碑式的重要文本摘要论文。 注意:除文首的表格外,本文所参考的论文,如本人已撰写对应的学习博文,则不直接引用原论文,而引用我撰写的博文。 本文会长期更新。
argparse:Python命令行传参
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (ch
文本摘要数据集的整理、总结及介绍(持续更新ing...)
使用Python3得到两个字符串的最长公共子序列
bypy:使用Linux命令行上传及下载百度云盘文件(远程服务器大文件传输必备)
pip详解(持续更新ing...)
Python3中判断为False的值集锦(持续更新ing...)
本章主要内容: 本章首先介绍了在此之前学习的message passing系GNN模型的限制,然后介绍了position-aware GNN1 和 identity-aware GNN (IDGNN)2 来解决相应的问题。 最后介绍了GNN模型的鲁棒性问题。
本章主要内容: 首先介绍了深度图生成模型的基本情况,然后介绍了直接从图数据集中学习的GraphRNN模型1,最后介绍了医药生成领域的GCPN模型
本colab主要实现: 对异质图heterogeneous graphs(有不同类的节点和边)的处理,实现heterogenous message passing,即在不同种类的节点和边之间实现不同种类的信息传递。 本colab主要使用DeepSNAP类对异质图进行操作。1 DeepSNAP官方文档:DeepSNAP Documentation — DeepSNAP 0.2.0 documentation DeepSNAP官方GitHub项目:snap-stanford/deepsnap: Python library assists deep learning on graphs