之前查找了很多资料，发现语料准备这块的方法论很有限，在我看来如果说AI是个学生，语料其实是教科书，是知识的海洋，是AI的粮食，非常重要。
本文主要探讨有充分的语料基础后对语料进行预处理的办法。
1，众包打标签
2，手工规则提取
关键词特征，使用数据库进行批量标记。
实体识别后特征选取，使用分词工具根据词性来标记。
词频统计，对高频特殊词单独标记。
### Dialogflow 边标记边训练，不断校正测试效果。
Explosion.ai 的 Prodigy ， 快速手工标记，后台学习，提供预判，个人觉得并不好用。
3, 专家手工打标签
推荐Excel，可以与数据库互传数据，可以指定标签词汇范围，进行快速输入。
我总觉得语料工具应该有更大的发展空间，需要做的更好！
语料准备
2018-09-14
1392
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
之前查找了很多资料，发现语料准备这块的方法论很有限，在我看来如果说AI是个学生，语料其实是教科书，是知识的海洋，是AI的粮食，非常重要。本文主要探讨有充分的语料基础后对语料进行预处理的办法。
目录
相关文章
|
机器学习/深度学习
人工智能
数据可视化
|
机器学习/深度学习
人工智能
自然语言处理
MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模
MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模
825
0
0
|
6月前
|
数据采集
人工智能
自然语言处理
关于大模型语料的迷思
随着大模型发展的不断深入，我们越来越关注到语料质量对模型能力的影响，语料中的偏差和主观性会导致生成内容不准确或带有偏见。智能引擎事业部是阿里内部深耕多年的AI工程团队，为内部业务提供了完整的大模型工程体系，持续关注大模型训推性能、成本、研发范式等关键问题。本文将基于我们的思考，探讨大模型语料的复杂性及其背后的思维过程。
241
1
1
|
9月前
|
数据采集
机器学习/深度学习
自然语言处理
|
9月前
|
网络安全
语音技术
语音情感基座模型emotion5vec 问题之什么是歌曲情感识别，在歌曲情感识别任务中，emotion2vec的如何表现
语音情感基座模型emotion5vec 问题之什么是歌曲情感识别？在歌曲情感识别任务中，emotion2vec的如何表现
82
1
1
|
9月前
|
数据挖掘
InsTag：大语言模型监督微调数据标签标注工具
魔搭社区发布了一个名为“InsTagger”的工具，用于分析LLM（大语言模型）中符合人类偏好的监督微调（SFT）数据。InsTagger 是基于 InsTag 方法训练的本地指令标签标注器，用于为符合人类偏好的监督微调数据集中的指令标注描述其意图和语义的标签，从而指导指令的分流或监督微调数据集的分析。
2713
0
1
|
机器学习/深度学习
人工智能
自然语言处理
合合信息Embedding模型获得MTEB中文榜单第一
合合信息近日发布文本向量化模型acge_text_embedding，在MTEB中文榜单（C-MTEB）中荣获第一，该模型在处理文本分类、语义相似度计算和情感分析等方面表现出色。MTEB是一个评估文本嵌入模型的综合基准，包含多种语言和任务，而C-MTEB专注于中文文本。acge模型具有较小的模型大小和较高的分类任务性能，支持最大1024个tokens，适用于各种应用场景，如电商、医疗和教育领域，能提升信息处理效率和推荐精准度。此外，用户可以通过在线平台体验acge模型的效果。
516
0
0
|
机器学习/深度学习
数据采集
人工智能
本地训练,立等可取,30秒音频素材复刻霉霉讲中文音色基于Bert-VITS2V2.0.2
之前我们[使用Bert-VITS2V2.0.2版本对现有的原神数据集进行了本地训练](https://v3u.cn/a_id_330)，但如果克隆对象脱离了原神角色，我们就需要自己构建数据集了，事实上，深度学习模型的性能和泛化能力都依托于所使用的数据集的质量和多样性，本次我们在本地利用Bert-VITS2V2.0.2对霉霉讲中文的音色进行克隆实践。
214
0
0
|
机器学习/深度学习
人工智能
算法
热门文章
最新文章
1
yarn的安装和使用(全网最详细)
2
『干货』深度强化学习与自适应在线学习的阿里实践
3
Mac下Go安装配置并使用Protobuf
4
mybatis-plus分页查询详解
5
DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
6
一文聊透策略模式
7
设计模式之观察者模式
8
tcp回显客户端发送的数据
9
软件开发过程
10
什么应用程序更能够发挥统一通信的效用
1
2022年下半年解析
22
2
Axure制作可视化大屏动态滚动列表教程
36
3
Axure设计数字乡村可视化大屏：从布局到交互的实战经验分享
23
4
Arthas logger（查看 logger 信息，更新 logger level）
26
5
Spring Boot 功能模块全解析：构建现代Java应用的技术图谱
54
6
【Azure Service Bus】使用Python SDK创建Service Bus Namespace资源(中国区)
60
7
《解锁具身智能社交密码：文化适配算法探秘》
52
8
《虚实共生：双向映射重塑具身智能决策逻辑》
59
9
小程序微信分享功能如何开发？开放平台已绑定仍不能使用的问题？-优雅草卓伊凡
174
10
SID 2025上的天马，用“好屏”技术重构产业叙事
28