NLP之Stanford Parser

简介: Parser主要有以下几个问题:Parser是什么?如何使用Stanford ParserParser把一个句子转变为树状结构,那么这棵树具体的是怎么样,怎么操作这棵树?也就是说,怎么把这棵树用在LSTM上。

Parser

主要有以下几个问题:

  • Parser是什么?
  • 如何使用Stanford Parser
  • Parser把一个句子转变为树状结构,那么这棵树具体的是怎么样,怎么操作这棵树?也就是说,怎么把这棵树用在LSTM上。这里面又包含了许多问题。

一、Definition

我只知道Parser是句法分析。
专业一点的说:
句法分析判断输入的单词序列(一般为句子)的构成是否合乎给定的语法,并通过构造句法树来确定句子的结构以及各层次句法成分之间的关系,即确定一个句子中的哪些词构成一个短语,哪些词是动词的主语或宾语等问题。

二、Usage of Stanford Parser

1 . download

2 . 解压之后的目录如下:

image

3 . 执行

# mydata.txt是我的语料,输出在result.txt
./lexparser.sh mydata.txt > result.txt

4.结果如图所示:
mydata.txt中只有一句话My dog also likes eating sausage.

下面是My dog also likes eating sausage.的两种Parser的结果:

parser result

三、Tree

一开始这个结果看不明白。第二种还好,先理解了;第一种是要通过入栈出栈来实现的。

第一种是Constituency Parser,第二种是Dependency Parser。

下面是我手绘的图:

Constituency Parser:

这个我感觉应该是理解错了,这个S是啥意思呢???

constituency

Dependency Parser

dependency

相关文章
|
5月前
|
自然语言处理 数据可视化 Java
NLP6:stanford Parser中文分词
NLP6:stanford Parser中文分词
93 0
|
1月前
|
机器学习/深度学习 自然语言处理 监控
自然语言处理(Natural Language Processing, NLP)中的情感分析
自然语言处理(Natural Language Processing, NLP)中的情感分析
43 3
|
5月前
|
机器学习/深度学习 自然语言处理
NLP5:NLTK词性标注
NLP5:NLTK词性标注
69 0
|
7月前
|
自然语言处理 算法 语音技术
【nlp-with-transformers】|Transformers中的generate函数解析
今天社群中的小伙伴面试遇到了一个问题,如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。 这里面造成问题的因素有两个方面: 一个方面是在forward过程中参数的计算出现了差异,这种情况一般发生在游戏显卡中,游戏显卡无法保证每一次底层算子计算都是成功的,也没有办法保证同输入同输出,这里我们就需要采用具有ecc内存纠错机智的专用显卡用来解决相关的问题。
373 0
|
12月前
|
机器学习/深度学习 自然语言处理
NLP学习笔记(七) BERT简明介绍 上
NLP学习笔记(七) BERT简明介绍
92 0
|
12月前
|
自然语言处理
NLP学习笔记(七) BERT简明介绍 下
NLP学习笔记(七) BERT简明介绍
150 0
NLP学习笔记(七) BERT简明介绍 下
|
机器学习/深度学习 存储 数据可视化
吴恩达机器学习ex3 Multi-class Classfication and Neural Networks(python)
吴恩达机器学习ex3 Multi-class Classfication and Neural Networks(python)
吴恩达机器学习ex3 Multi-class Classfication and Neural Networks(python)
|
机器学习/深度学习 人工智能 自然语言处理
Transformer培训:《Transformers for NLP 》详细解读打实基础
Transformer培训:《Transformers for NLP 》详细解读打实基础
517 0
|
机器学习/深度学习 自然语言处理 算法
Transformer培训课程:Transformers for NLP
Transformer培训课程:Transformers for NLP
116 0
|
机器学习/深度学习 人工智能 自然语言处理
EasyNLP开源|中文NLP+大模型落地,EasyNLP is all you need
EasyNLP背后的技术框架如何设计?未来有哪些规划?今天一起来深入了解。
EasyNLP开源|中文NLP+大模型落地,EasyNLP is all you need