开源自然语言处理工具包hanlp中CRF分词实现详解
CRF简介
CRF是序列标注场景中常用的模型,比HMM能利用更多的特征,比MEMM更能抵抗标记偏置的问题。
[gerative-discriminative.png]
CRF训练
这类耗时的任务,还是交给了用C++实现的CRF++。
开源-NLP工具
NLP开源工具
1. AllenNLP
说明:An open-source NLP research library, built on PyTorch。官网:https://allennlp.org/github:https://github.com/huntzhan/allennlp
2. PyText
说明:PyText是基于NLP深度学习技术、通过Pytorch构建的建模框架。