AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

这个分词跟jieba分词比如何？

这个分词跟jieba分词比如何？ 能在机器上使用吗？ 能加词典吗

展开
收起
xpjandy 2022-10-31 13:31:03 1292 分享 版权
1 条回答
写回答
取消 提交回答
  • countback

    跟jieba分词的差别主要是分词模型的差别。jieba采用的是词典+统计分词模型的模式, BaStructBERT模型是基于预训练语言模型+CRF的序列标注模型, BaStructBERT分词模型的泛化性对比jieba会好很多，但是运行效率相应的也会慢一些。目前BaStructBERT分词暂时不支持添加词典的功能

    2022-11-02 15:51:24
    赞同 展开评论
相关问答
自然语言处理
this xml file does not appear to have any style in
47624
10
0
请问下 我访问接口不通 什么原因 Provisional headers are shown
1601
0
0
OSS的endpoint如何查看
36148
6
0
购买阿里国外的云服务器是否可以访问谷歌？
80303
47
0
通过www和不带www的网址输入最终都指向www.我的域名.com，求指教
123578
28
0
sql server的用户名和密码怎么查啊？
35412
21
0
配置了安全组规则，端口还是无法访问
32201
25
0
域名在腾讯云备案成功，解析到阿里云服务器，提示仍需备案？
59412
30
0
设置域名解析如何指向我的服务器url包括端口号
17520
2
0
Connection reset by peer的常见原因及解决办法
3706
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问
收录在圈子:
自然语言处理
168
+ 订阅

相关文章

  • 视口分割与多区域渲染技术的具体实现步骤是什么？
  • 推荐算法怎么变聪明？用数据分析“调教”才是王道！
  • Browser Use：打造你的浏览器自动化助手
  • 从文本到知识：使用LLM图转换器构建知识图谱的详细指南
  • ​​MCP协议：Agent交互的未来标准化之路​​

    • 热门讨论

    热门文章

  • modelscope-funasr 热词如何设置？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr支持粤语么？
  • modelscope-funasr模型可以国产化吗？可以部署在昇腾NPU上吗？
  • modelscope-funasr输出的结果里可以区分说话人吗？
  • modelscope-funasr有说话人分离功能吗？
  • gpt3,加载数据时，MsDataset.load报错
    • 展开全部
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • ComfyUI-Copilot：阿里把AI助手塞进ComfyUI：一句话生成工作流，自动布线/调参/选模型，小白秒变大神！
  • 让AI读懂K线图！ChatTS-14B：字节开源的时间序列理解和推理大模型，自然语言提问秒解趋势密码！
  • 自然语言生成代码一键搞定！Codex CLI：OpenAI开源终端AI编程助手，代码重构+测试全自动
  • LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
    • 展开全部
    还有其他疑问?
    咨询AI助理