Chinese NLP Toolkits 中文NLP工具
Toolkits 综合NLP工具包
- THULAC 中文词法分析工具包 by 清华 (C++/Java/Python)
- NLPIR by 中科院 (Java)
- LTP 语言技术平台 by 哈工大 (C++) pylyp LTP的python封装
- FudanNLP by 复旦 (Java)
- BaiduLac by 百度 Baidu’s open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition.
- BosonNLP by Boson (商业API服务)
- HanLP (Java)
- SnowNLP (Python) Python library for processing Chinese text
- YaYaNLP (Python) 纯python编写的中文自然语言处理包,取名于“牙牙学语”
- 小明NLP (Python) 轻量级中文自然语言处理工具
- DeepNLP (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.
- chinese_nlp (C++ & Python) Chinese Natural Language Processing tools and examples
- Chinese-Annotator (Python) Annotator for Chinese Text Corpus 中文文本标注工具
- Poplar (Typescript) A web-based annotation tool for natural language processing (NLP)
Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多语言的NLP工具包
- CoreNLP by Stanford (Java) A Java suite of core NLP tools.
- NLTK (Python) Natural Language Toolkit
- spaCy (Python) Industrial-Strength Natural Language Processing
- textacy (Python) NLP, before and after spaCy
- OpenNLP (Java) A machine learning based toolkit for the processing of natural language text.
- gensim (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.
Chinese Word Segment 中文分词
- Jieba 结巴中文分词 (Python及大量其它编程语言衍生) 做最好的 Python 中文分词组件
- kcws 深度学习中文分词 (Python) BiLSTM+CRF与IDCNN+CRF
- ID-CNN-CWS (Python) Iterated Dilated Convolutions for Chinese Word Segmentation
- Genius 中文分词 (Python) Genius是一个开源的python中文分词组件,采用 CRF(Conditional Random Field)条件随机场算法。
- loso 中文分词 (Python)
- yaha "哑哈"中文分词 (Python)
- ChineseWordSegmentation (Python) Chinese word segmentation algorithm without corpus(无需语料库的中文分词)
Information Extraction 信息提取
- MITIE (C++) library and tools for information extraction
- Duckling (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.
- IEPY (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.
- Snorkel A training data creation and management system focused on information extraction
- Neural Relation Extraction implemented with LSTM in TensorFlow
- A neural network model for Chinese named entity recognition
- Information-Extraction-Chinese Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取
- Familia 百度出品的 A Toolkit for Industrial Topic Modeling
- Text Classification All kinds of text classificaiton models and more with deep learning. 用知乎问答语聊作为测试数据。
QA & Chatbot 问答和聊天机器人
- Rasa NLU (Python) turn natural language into structured data, a Chinese fork at Rasa NLU Chi
- Rasa Core (Python) machine learning based dialogue engine for conversational software
- Snips NLU (Python) Snips NLU is a Python library that allows to parse sentences written in natural language and extracts structured information.
- DeepPavlov (Python) An open source library for building end-to-end dialog systems and training chatbots.
- ChatScript Natural Language tool/dialog manager, a rule-based chatbot engine.
- Chatterbot (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.
- Chatbot (Python) 基於向量匹配的情境式聊天機器人
- Tipask (PHP) 一款开放源码的PHP问答系统,基于Laravel框架开发,容易扩展,具有强大的负载能力和稳定性。
- QuestionAnsweringSystem (Java) 一个Java实现的人机问答系统,能够自动分析问题并给出候选答案。
- QA-Snake (Python) 基于多搜索引擎和深度学习技术的自动问答
- 使用TensorFlow实现的Sequence to Sequence的聊天机器人模型 (Python)
- 使用深度学习算法实现的中文阅读理解问答系统 (Python)
- DuReader中文阅读理解Baseline代码 (Python)
- 基于SmartQQ的自动机器人框架 (Python)
Corpus 中文语料
- 开放知识图谱OpenKG.cn
- 开放中文知识图谱的schema
- 大规模中文概念图谱CN-Probase 公众号介绍
- 农业知识图谱 农业领域的信息检索,命名实体识别,关系抽取,分类树构建,数据挖掘
- CLDC中文语言资源联盟
- 中文 Wikipedia Dump
- 98年人民日报词性标注库@百度盘
- 搜狗20061127新闻语料(包含分类)@百度盘
- UDChinese (for training spaCy POS)
- 中文word2vec模型
- 上百种预训练中文词向量
- Synonyms:中文近义词工具包 基于维基百科中文和word2vec训练的近义词库,封装为python包文件。
- Chinese_conversation_sentiment A Chinese sentiment dataset may be useful for sentiment analysis.
- 中文突发事件语料库 Chinese Emergency Corpus
- dgk_lost_conv 中文对白语料 chinese conversation corpus
- 用于训练中英文对话系统的语料库 Datasets for Training Chatbot System
- 八卦版問答中文語料
- 中国股市公告信息爬取 通过python脚本从巨潮网络的服务器获取中国股市(sz,sh)的公告(上市公司和监管机构)
- tushare财经数据接口 TuShare是一个免费、开源的python财经数据接口包。
- 保险行业语料库 [52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks
- 最全中华古诗词数据库 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。
- DuReader中文阅读理解数据
- 中文语料小数据 包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据
- 中文人名语料库 中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。
- 中文敏感词词库 敏感词过滤的几种实现+某1w词敏感词库
- 中文简称词库 A corpus of Chinese abbreviation, including negative full forms.
- 中文数据预处理材料 中文分词词典和中文停用词
- 漢語拆字字典
- SentiBridge: 中文实体情感知识库 刻画人们如何描述某个实体,包含新闻、旅游、餐饮,共计30万对。
- OpenCorpus A collection of freely available (Chinese) corpora.
Organizations 相关中文NLP组织,会议与竞赛
- 中国中文信息学会
- NLP Conference Calender Main conferences, journals, workshops and shared tasks in NLP community.
- 2017 第一届“讯飞杯”中文机器阅读理解评测
- 2017 AI-Challenger 图像中文描述 用一句话描述给定图像中的主要信息,挑战中文语境下的图像理解问题。
- 2017 AI-Challenger 英中机器文本翻译 用大规模的数据,提升英中文本机器翻译模型的能力。
- 2017 知乎看山杯机器学习挑战赛 根据知乎给出的问题及话题标签的绑定关系的训练数据,训练出对未标注数据自动标注的模型。
- 2018 开放领域的中文问答任务 对于给定的一句中文问题,问答系统从给定知识库中选择若干实体或属性值作为该问题的答案。
- 2018 微众银行智能客服问句匹配大赛 针对中文的真实客服语料,进行问句意图匹配;给定两个语句,判定两者意图是否相近。
Learning Materials 学习资料
- 中文Deep Learning Book
- Stanford CS224n Natural Language Processing with Deep Learning 2017
- Oxford CS DeepNLP 2017
- Speech and Language Processing by Dan Jurafsky and James H. Martin
- 52nlp 我爱自然语言处理
- hankcs 码农场
- 文本处理实践课资料 文本处理实践课资料,包含文本特征提取(TF-IDF),文本分类,文本聚类,word2vec训练词向量及同义词词林中文词语相似度计算、文档自动摘要,信息抽取,情感分析与观点挖掘等实验。
- nlp_tasks Natural Language Processing Tasks and Selected References