分词

简介: 中文分词介绍

【Task简介】

给定连续输入文本内容,分词模型会将给出分词结果


【说明视频】


【输入与输出】

Input就是一段文字,StructBERT+softmax序列标注模型,序列标注标签体系(B、I、E、S),四个标签分别表示单字处理单词的起始、中间、终止位置或者该单字独立成词,output就是根据输出标签确定的分词结果



【场景应用】

中文数据词云展示、需要先将数据进行分词


【数据集链接】

数据集:

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

模型文件:

https://modelscope.cn/models/damo/nlp_structbert_word-segmentation_chinese-base/files

相关文章
|
11天前
|
JSON 自然语言处理 Shell
|
9月前
|
自然语言处理
pkuseg 和 jieba 分词对比测试,结果出乎意料...
pkuseg 和 jieba 分词对比测试,结果出乎意料...
|
10月前
|
自然语言处理 BI
|
自然语言处理 搜索推荐
jieba分词有哪些模式,分别详细介绍
jieba分词有哪些模式,分别详细介绍
829 0
|
自然语言处理 算法
中文文本处理分词的二元模型
中文文本处理分词的二元模型
135 1
中文文本处理分词的二元模型
|
自然语言处理
IK分词器自定义词汇
IK分词器自定义词汇
|
机器学习/深度学习 人工智能 自然语言处理
分词的那些事
使用阿里云学习分词,分词就是指将连续的自然语言文本切分成具有语义合理性和完整性的词汇序列的过程。
分词的那些事
|
自然语言处理
关于分词
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文围绕分词作一些入门资源信息介绍,偏分词应用。内容10年前的,不代表最新的内容啊。
116 0
|
机器学习/深度学习 自然语言处理 算法
NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词
NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词
141 0
NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词
|
自然语言处理
HanLP分词工具中的ViterbiSegment分词流程
本篇文章将重点讲解HanLP的ViterbiSegment分词器类,而不涉及感知机和条件随机场分词器,也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的,而且ViterbiSegment也是作者直接封装到HanLP类中的分词器,作者也推荐使用该分词器,同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。
1069 0

热门文章

最新文章