之前查找了很多资料，发现语料准备这块的方法论很有限，在我看来如果说AI是个学生，语料其实是教科书，是知识的海洋，是AI的粮食，非常重要。
本文主要探讨有充分的语料基础后对语料进行预处理的办法。
1，众包打标签
2，手工规则提取
关键词特征，使用数据库进行批量标记。
实体识别后特征选取，使用分词工具根据词性来标记。
词频统计，对高频特殊词单独标记。
### Dialogflow 边标记边训练，不断校正测试效果。
Explosion.ai 的 Prodigy ， 快速手工标记，后台学习，提供预判，个人觉得并不好用。
3, 专家手工打标签
推荐Excel，可以与数据库互传数据，可以指定标签词汇范围，进行快速输入。
我总觉得语料工具应该有更大的发展空间，需要做的更好！
语料准备
2018-09-14
1301
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
之前查找了很多资料，发现语料准备这块的方法论很有限，在我看来如果说AI是个学生，语料其实是教科书，是知识的海洋，是AI的粮食，非常重要。本文主要探讨有充分的语料基础后对语料进行预处理的办法。
目录
相关文章
|
2月前
|
机器学习/深度学习
自然语言处理
|
6月前
|
数据可视化
数据挖掘
|
5月前
|
机器学习/深度学习
自然语言处理
数据挖掘
|
17天前
|
自然语言处理
Python
|
5月前
|
机器学习/深度学习
人工智能
自然语言处理
|
7月前
|
机器学习/深度学习
自然语言处理
|
10月前
|
10月前
|
数据采集
|
11月前
|
机器学习/深度学习
人工智能
自然语言处理
深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
382
1
1
热门文章
最新文章
1
大数据总线(DataHub)
2
企业应用架构实践（复杂性应对之道）
3
QTP连接MYSQL数据库方法
4
31.10. 转换 latin1 到 UTF-8
5
使用 NuGet 下载最新的 Rafy 框架及文档
6
WebIM组件设计<转>
7
Spring Cloud 配置中心高可用搭建
8
2017年物联网将会出现的五个关键趋势
9
多线程并发神器--ThreadLocal
10
利用SpannableStringBuilder设置TextView中部分文字的颜色
1
【大模型】如何向非技术受众解释LLM的概念及其能力？
32
2
【大模型】哪些关键考虑因素使用 LLM 进行客户服务交互
34
3
【大模型】如何诊断和解决LLM 开始生成令人反感或与事实不符的输出？
31
4
【大模型】如何处理微调LLM来编写创意内容？
30
5
【大模型】探索LLM在各个行业的潜在未来应用
30
6
【大模型】如何利用 LLM 来创建更像人类的对话？
23
7
⚡REST 和 SOAP 协议有什么区别？
26
8
如何在家中使用手机或电脑远程控制公司iStoreOS软路由下的电脑桌面
22
9
【探索Linux】P.33（HTTP协议）
28
10
运用自定义协议设计与实现“跨网络计算器”
21