开发者社区> 初商> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

中文自然语言处理数据集:ChineseNLPCorpus(附链接)

简介: 本文为你推荐中文自然语言处理数据集。
+关注继续查看

来源:AINLP

文章来源:微信公众号 数据派THU

本文约1300字,建议阅读5分钟。


本文为你推荐中文自然语言处理数据集。

推荐一个Github项目:ChineseNLPCorpus,该项目收集了一批中文自然语言处理数据集的相关链接,可以用来练手,点击阅读原文可以直达该项目链接:

https://github.com/InsaneLife/ChineseNLPCorpus

以下来自该项目介绍页

中文自然语言处理数据集,平时做做实验的材料。欢迎补充提交合并。

文本分类

新闻分类

数据规模:共38万条,分布于15个分类中。

采集时间:2018年05月。

以0.7 0.15 0.15做分割 。

  • 清华新闻分类语料:

根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成。

数据量:74万篇新闻文档(2.19 GB)

小数据实验可以筛选类别:体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐

http://thuctc.thunlp.org/#%E8%8E%B7%E5%8F%96%E9%93%BE%E6%8E%A5

rnn和cnn实验:https://github.com/

gaussic/text-classification-cnn-rnn

情感/观点/评论 倾向性分析

image.png

实体识别&词性标注

https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/boson

  • 1998年人民日报数据集。
    人名、地名、组织名三种实体类型

https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/renMinRiBao

  • MSRA微软亚洲研究院数据集。
  1. 万多条中文命名实体识别标注数据(包括地点、机构、人物)

https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/MSRA

  • SIGHAN Bakeoff 2005:一共有四个数据集,包含繁体中文和简体中文,下面是简体中文分词数据。

MSR: http://sighan.cs.uchicago.edu/bakeoff2005/

PKU :http://sighan.cs.uchicago.edu/bakeoff2005/

搜索匹配

OPPO手机搜索排序

OPPO手机搜索排序query-title语义匹配数据集。

下载链接:

https://pan.baidu.com/s/1Obm8oRVZEIh76-cpPc0qZw

网页搜索结果评价(SogouE)

用户查询及相关URL列表

https://www.sogou.com/labs/resource/e.php

推荐系统

image.png

百科数据

维基百科

维基百科会定时将语料库打包发布:

百度百科

只能自己爬,爬取得链接:https://pan.baidu.

com/share/init?surl=i3wvfil提取码 neqs 。

指代消歧

CoNLL 2012 :http://conll.cemantix

.org/2012/data.html

预训练:(词向量or模型)

BERT

开源代码:https://github.com/

google-research/bert

模型下载:BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

ELMO

开源代码:

https://github.com/allenai/bilm-tf

预训练的模型:https://allennlp.org/elmo

腾讯词向量

腾讯AI实验室公开的中文词向量数据集包含800多万中文词汇,其中每个词对应一个200维的向量。

下载地址:https://ai.tencent.com

/ailab/nlp/embedding.html

上百种预训练中文词向量

下载地址:https://github.com/

Embedding/Chinese-Word-Vectors

中文完形填空数据集

ymcui/Chinese-RC-Dataset

中华古诗词数据库

最全中华古诗词数据集,唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。

保险行业语料库

Samurais/insuranceqa-corpus-zh

汉语拆字字典

英文可以做char embedding,中文不妨可以试试拆字

中文数据集平台

搜狗实验室

  • 搜狗实验室提供了一些高质量的中文文本数据集,时间比较早,多为2012年以前的数据。

https://www.sogou.com/labs/resource/list_pingce.php

https://github.com/crownpku/Small-Chinese-Corpus

NLP工具

THULAC:https://github.com/thunlp/THULAC :包括中文分词、词性标注功能。

HanLP:https://github.com/hankcs/HanLP

哈工大LTP: https://github.com/HIT-SCIR/ltp

NLPIR :https://github.com/NLPIR-team/NLPIR

jieba :https://github.com/yanyiwu/cppjieba


编辑:于腾凯

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
网站流量日志分析--数据预处理--实现思路详解| 学习笔记
快速学习网站流量日志分析--数据预处理--实现思路详解
8 0
【论文笔记】文本版的Mixup数据增强算法:SSMix
【论文笔记】文本版的Mixup数据增强算法:SSMix
193 0
独家 | 一文教你如何处理不平衡数据集(附代码)
本文作者用python代码示例解释了3种处理不平衡数据集的可选方法,包括数据层面上的2种重采样数据集方法和算法层面上的1个集成分类器方法。
1213 0
用 WEKA 进行数据挖掘 (1)简介和回归
用 WEKA 进行数据挖掘 (1)简介和回归
1615 0
数据挖掘——数据仓库
虽然存在数据仓库并不是数据挖掘的先决条件,但实际上,若能访问数据仓库,数据挖掘的任务就会变得容易的多。 数据仓库的主要目标是增加决策过程的“情报”和此过程的相关人员的知识。数据仓库对不同的人来说有不同的意义。
3353 0
SPSS处理缺失数据
  缺失的数据或者无效的数据经常会被我们忽略,比如当我们要开始做一些问卷调查的统计时,会发现被调查者不愿意回到一些问题,此时就会产生统计错误或者数据格式的错误,有效的过滤和标识数据,可以使我们对数据的分析提供更加准确的结果。
990 0
SSIS中的容器和数据流—数据转换(Transformations)续
在上一篇随笔中列举了部分Data Flow中的数据转换任务,这里继续剩余的转换任务。   数据挖掘请求 数据挖掘任务是SSIS中一个很重要的任务,它的思想来源于一些算法。数据挖掘请求运行数据挖掘请求,并将结果输出到数据流。
766 0
9i数据库下修改session_cached_cursors参数
http://www.itpub.net/showthread.php?s=&postid=7561871#post7561871 select * from v$version ; BANNER--------------------------------...
696 0
+关注
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
深度学习与自然语言处理
立即下载
自然语言处理得十个发展趋势
立即下载
Practical tips for defending
立即下载