目前常用的自然语言处理开源项目/开发包大汇总

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介:


中文主要有NLTKFoolNLTKHanLPjava版本),pyhanlppython版本),AnsjTHULAC,结巴分词,FNLP,哈工大LTP,中科院ICTCLAS分词,GATESnowNLP,东北大学NiuTransNLPIR,;

英文主要有NLTKGenismTextBlobStanford NLPSpacy。英文的开源NLP工具主要参见StackoverFlow-java or python for nlp

相关问题&文章:

1)如何用 Python 中的 NLTK 对中文进行分析和处理? 这个问题下的回答也详说了其他的语音处理包

2)中文分词项目总结

详细介绍

HanLPHanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

开发语言:Java

网址:hankcs/HanLP

开发机构:大快搜索

协议:Apache-2.0

功能:非常多,主要有中文分词,词性标注,命名实体识别,关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析,文本分类:情感分析,word2vec,语料库工具

活跃度:github star 超过45,近期(201711)仍在保持更新

 

Ansj中文分词:一个基于n-Gram+CRF+HMM的中文分词的java实现.

开发语言:Java

网址:NLPchina/ansj_seg

协议:Apache License 2.0

功能:中文分词. 中文姓名识别 . 用户自定义词典,关键字提取,自动摘要,关键字标记

性能:分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上

活跃度:github star 数量超过3500,近期(2017.11)仍在保持更新

 

THULAC:一个高效的中文词法分析工具包,具有中文分词和词性标注功能。

开发语言:

网址:THULAC:一个高效的中文词法分析工具包

开发机构:清华大学自然语言处理与社会人文计算实验室

协议:研究目的免费开放源代码,商用目的需洽谈许可证

功能:中文分词和词性标注

 

感谢石墨用户@hain 的补充

Synonyms: 中文近义词工具包

开发语言:Python

开发机构:个人

协议:MIT

功能:获取近义词集合,句子相似度计算

性能:见网站

活跃度:~1k Star

 

结巴分词:Python中文分词组件

开发语言:Python

网址:fxsjy/jieba

开发机构:

协议:MIT授权协议

功能:中文分词

FNLPFNLP主要是为中文自然语言处理而开发的工具包,也包含为实现这些任务的机器学习算法和数据集。

开发语言:

网址: FudanNLP/fnlp

开发机构:复旦

协议:LGPL3.0许可证。

功能:信息检索: 文本分类 新闻聚类;中文处理: 中文分词 词性标注 实体名识别 关键词抽取 依存句法分析 时间短语识别;结构化学习: 在线学习 层次分类 聚类

 

GenismGensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora. Target audience is the natural language processing (NLP) and information retrieval (IR) community.

开发语言:Python

网址:RaRe-Technologies/gensim

协议:LGPL-2.1 license

活跃度:github star数超过五千,近期(201711)仍在更新

 

TextBlobSimple, Pythonic, text processing--Sentiment analysis, part-of-speech tagging, noun phrase extraction, translation, and more.

开发语言:Python

网址:sloria/TextBlob

功能:情感分析、词性标注、翻译等

活跃度:github star 超过4千,近期(201711)仍在更新

 

SpacyspaCy is a library for advanced Natural Language Processing in Python and Cython. It's built on the very latest research, and was designed from day one to be used in real products. spaCy comes with pre-trained statistical models and word vectors, and currently supports tokenization for 20+ languages. It features the fastest syntactic parser in the world, convolutional neural network models for tagging, parsing and named entity recognition and easy deep learning integration. It's commercial open-source software, released under the MIT license.

开发语言:python

协议:MIT协议

功能: 功能很多,如tagging, parsing and named entity recognition

性能:功能强大,支持二十多种语言(然而目前还不支持中文,可以阅读官方文档了解更多信息https://spacy.io/usage/),号称是工业级强度的Python NLP工具包,区别于学术性质更浓的Python NLTK

活跃度:star 超过7千,近期(201711)仍非常活跃

 

作者:鉴津Jackie

相关文章
|
7月前
|
自然语言处理 索引
大模型开发: 解释自然语言处理(NLP)中的词嵌入。
**词嵌入技术在NLP中将文本转为数值表示,捕获词汇的语义和语法关系。过程包括:词汇索引、训练嵌入矩阵(如Word2Vec、GloVe、BERT)、文本向量化及向量输入到NLP模型(如情感分析、命名实体识别)。词嵌入是连接文本与机器理解的关键桥梁。**
156 2
|
29天前
|
自然语言处理 API C++
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!
SmartVscode插件深度解析:自然语言控制VS Code的革命性工具及其开源框架App-Controller
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【开源项目】自然语言处理领域的明星项目推荐:Hugging Face Transformers
在当今人工智能与大数据飞速发展的时代,自然语言处理(NLP)已成为推动科技进步的重要力量。而在NLP领域,Hugging Face Transformers无疑是一个备受瞩目的开源项目。本文将从项目介绍、代码解释以及技术特点等角度,为您深入剖析这一热门项目。
81 10
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP-新闻文本分类】处理新闻文本分类所有开源解决方案汇总
汇总了多个用于新闻文本分类的开源解决方案,包括TextCNN、Bert、LSTM、CNN、Transformer以及多模型融合方法。
59 1
|
5月前
|
存储 分布式计算 MaxCompute
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
|
5月前
|
TensorFlow 算法框架/工具 C++
构建NLP 开发问题之如何将模型导出为 ONNX、TensorRT 或 Tensorflow 格式以便部署
构建NLP 开发问题之如何将模型导出为 ONNX、TensorRT 或 Tensorflow 格式以便部署
|
4月前
|
机器学习/深度学习 自然语言处理 PyTorch
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--6 提分方案
在讯飞英文学术论文分类挑战赛中的提分技巧和实现方法,包括数据增强、投票融合、伪标签等策略,以及加快模型训练的技巧,如混合精度训练和使用AdamW优化器等。
46 0
|
4月前
|
数据采集 机器学习/深度学习 存储
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–5 Bert 方案
在讯飞英文学术论文分类挑战赛中使用BERT模型进行文本分类的方法,包括数据预处理、模型微调技巧、长文本处理策略以及通过不同模型和数据增强技术提高准确率的过程。
45 0
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–4 机器学习LGB 方案
在讯飞英文学术论文分类挑战赛中使用LightGBM模型进行文本分类的方案,包括数据预处理、特征提取、模型训练及多折交叉验证等步骤,并提供了相关的代码实现。
53 0
|
4月前
|
数据采集 自然语言处理 机器学习/深度学习
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–3 TextCNN Fasttext 方案
讯飞英文学术论文分类挑战赛中使用TextCNN和FastText模型进行文本分类的方案,包括数据预处理、模型训练和对抗训练等步骤,并分享了模型调优的经验。
42 0
下一篇
DataWorks