一、扩展属性
spaCy允许为Doc
,Token
和Span
对象定义自定义属性。这些属性可以在处理管道中的不同步骤之间传递信息。下面是一个示例,它定义了一个新的Token
属性is_fruit
,该属性检查token的文本是否在给定的水果列表中:
from spacy.tokens import Token
# Add the property
Token.set_extension("is_fruit", getter=lambda token: token.text in ("apple", "banana", "cherry"))
# Process some text
nlp = spacy.load("en_core_web_sm")
doc = nlp("I have an apple.")
# Check the custom attribute
print([(token.text, token._.is_fruit) for token in doc])
二、自定义词汇特性
除了自定义属性,spaCy还允许您添加自定义词汇特性。这些特性与词汇表中的条目关联,可以在整个应用程序中访问。以下示例向词汇表添加了一个is_fruit
特性:
from spacy.tokens import Doc
from spacy.vocab import Vocab
# Define the getter function
def get_is_fruit(word):
return word.text in ("apple", "banana", "cherry")
# Add the property
Vocab.set_extension("is_fruit", getter=get_is_fruit)
# Process some text
nlp = spacy.load("en_core_web_sm")
doc = nlp("I have an apple.")
# Check the custom attribute
print([(token.text, token.vocab._.is_fruit(token)) for token in doc])
三、处理管道
spaCy的处理管道是一个由各种处理步骤组成的序列,这些步骤按照定义的顺序执行。你可以添加自己的步骤到管道中,并且可以控制它们的顺序。
以下代码定义了一个新的处理步骤,它将每个处理的文档的长度打印到控制台:
def print_length(doc):
print("Document length:", len(doc))
return doc
nlp = spacy.load("en_core_web_sm")
# Add the component first in the pipeline
nlp.add_pipe(print_length, first=True)
doc = nlp("This is a sentence.")
在这个高级教程中,我们深入了解了spaCy的一些高级功能,包括扩展属性、自定义词汇特性和处理管道。这些功能使得spaCy更加灵活,能够适应各种各样的NLP任务和工作流程。