分词

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: 中文分词介绍

【Task简介】

给定连续输入文本内容,分词模型会将给出分词结果


【说明视频】


【输入与输出】

Input就是一段文字,StructBERT+softmax序列标注模型,序列标注标签体系(B、I、E、S),四个标签分别表示单字处理单词的起始、中间、终止位置或者该单字独立成词,output就是根据输出标签确定的分词结果



【场景应用】

中文数据词云展示、需要先将数据进行分词


【数据集链接】

数据集:

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

模型文件:

https://modelscope.cn/models/damo/nlp_structbert_word-segmentation_chinese-base/files

相关文章
|
6月前
|
JSON 自然语言处理 Shell
|
自然语言处理
IK分词器设置了停用词部分没有生效问题
IK分词器设置了停用词部分没有生效问题
|
自然语言处理 BI
|
自然语言处理
pkuseg 和 jieba 分词对比测试,结果出乎意料...
pkuseg 和 jieba 分词对比测试,结果出乎意料...
|
自然语言处理 算法
中文文本处理分词的二元模型
中文文本处理分词的二元模型
177 1
中文文本处理分词的二元模型
|
自然语言处理 搜索推荐
jieba分词有哪些模式,分别详细介绍
jieba分词有哪些模式,分别详细介绍
1105 0
|
canal 搜索推荐 关系型数据库
拼音分词器
安装方式参考IK分词器
262 0
|
自然语言处理
IK分词器自定义词汇
IK分词器自定义词汇
|
机器学习/深度学习 人工智能 自然语言处理
分词的那些事
使用阿里云学习分词,分词就是指将连续的自然语言文本切分成具有语义合理性和完整性的词汇序列的过程。
分词的那些事
|
自然语言处理
关于分词
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文围绕分词作一些入门资源信息介绍,偏分词应用。内容10年前的,不代表最新的内容啊。
143 0

热门文章

最新文章