语料准备

简介: 之前查找了很多资料,发现语料准备这块的方法论很有限,在我看来如果说AI是个学生,语料其实是教科书,是知识的海洋,是AI的粮食,非常重要。本文主要探讨有充分的语料基础后对语料进行预处理的办法。

之前查找了很多资料,发现语料准备这块的方法论很有限,在我看来如果说AI是个学生,语料其实是教科书,是知识的海洋,是AI的粮食,非常重要。
本文主要探讨有充分的语料基础后对语料进行预处理的办法。
1,众包打标签
2,手工规则提取
关键词特征,使用数据库进行批量标记。
实体识别后特征选取,使用分词工具根据词性来标记。
词频统计,对高频特殊词单独标记。
### Dialogflow 边标记边训练,不断校正测试效果。
Explosion.ai 的 Prodigy , 快速手工标记,后台学习,提供预判,个人觉得并不好用。
3, 专家手工打标签
推荐Excel,可以与数据库互传数据,可以指定标签词汇范围,进行快速输入。
我总觉得语料工具应该有更大的发展空间,需要做的更好!

目录
相关文章
|
机器学习/深度学习 人工智能 数据可视化
社区供稿|语音情感基座模型emotion2vec
SOTA效果的通用语音情感表征模型emotion2vec,魔搭社区已开源,可下载体验!
|
机器学习/深度学习 人工智能 自然语言处理
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模
|
6月前
|
数据采集 人工智能 自然语言处理
关于大模型语料的迷思
随着大模型发展的不断深入,我们越来越关注到语料质量对模型能力的影响,语料中的偏差和主观性会导致生成内容不准确或带有偏见。智能引擎事业部是阿里内部深耕多年的AI工程团队,为内部业务提供了完整的大模型工程体系,持续关注大模型训推性能、成本、研发范式等关键问题。本文将基于我们的思考,探讨大模型语料的复杂性及其背后的思维过程。
|
9月前
|
数据采集 机器学习/深度学习 自然语言处理
VLE基于预训练文本
8月更文挑战第21天
|
9月前
|
网络安全 语音技术
语音情感基座模型emotion5vec 问题之什么是歌曲情感识别,在歌曲情感识别任务中,emotion2vec的如何表现
语音情感基座模型emotion5vec 问题之什么是歌曲情感识别?在歌曲情感识别任务中,emotion2vec的如何表现
|
9月前
评估数据集CGoDial问题之多模态对话为什么重要
评估数据集CGoDial问题之多模态对话为什么重要
|
数据挖掘
InsTag:大语言模型监督微调数据标签标注工具
魔搭社区发布了一个名为“InsTagger”的工具,用于分析LLM(大语言模型)中符合人类偏好的监督微调(SFT)数据。InsTagger 是基于 InsTag 方法训练的本地指令标签标注器,用于为符合人类偏好的监督微调数据集中的指令标注描述其意图和语义的标签,从而指导指令的分流或监督微调数据集的分析。
|
机器学习/深度学习 人工智能 自然语言处理
合合信息Embedding模型获得MTEB中文榜单第一
合合信息近日发布文本向量化模型acge_text_embedding,在MTEB中文榜单(C-MTEB)中荣获第一,该模型在处理文本分类、语义相似度计算和情感分析等方面表现出色。MTEB是一个评估文本嵌入模型的综合基准,包含多种语言和任务,而C-MTEB专注于中文文本。acge模型具有较小的模型大小和较高的分类任务性能,支持最大1024个tokens,适用于各种应用场景,如电商、医疗和教育领域,能提升信息处理效率和推荐精准度。此外,用户可以通过在线平台体验acge模型的效果。
|
机器学习/深度学习 数据采集 人工智能
本地训练,立等可取,30秒音频素材复刻霉霉讲中文音色基于Bert-VITS2V2.0.2
之前我们[使用Bert-VITS2V2.0.2版本对现有的原神数据集进行了本地训练](https://v3u.cn/a_id_330),但如果克隆对象脱离了原神角色,我们就需要自己构建数据集了,事实上,深度学习模型的性能和泛化能力都依托于所使用的数据集的质量和多样性,本次我们在本地利用Bert-VITS2V2.0.2对霉霉讲中文的音色进行克隆实践。
本地训练,立等可取,30秒音频素材复刻霉霉讲中文音色基于Bert-VITS2V2.0.2
|
机器学习/深度学习 人工智能 算法
开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPT
开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPT
960 0