AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

modelscope-funasr的paraformer-vocab8404对英文oov要怎么分词？

modelscope-funasr的paraformer-vocab8404对于英文oov要怎么分词？我没能找到你们使用的bpe.model

展开
收起
三分钟热度的鱼 2024-03-13 21:27:01 85 分享 版权
1 条回答
写回答
取消 提交回答
  • 圆不溜秋的小猫猫

    有的，你去funasr github首页上找paraformer-en。 7b54f6abc7376a62432761840884861c.png
    你用这个bpe分词，然后把分词加入到seg_dict与tokens.json里面去。此回答整理自钉群“modelscope-funasr社区交流”

    2024-03-13 22:38:44
    赞同 展开评论
相关问答
按照官方文档把modelscope装上了，试了一下分词的例子，联网时可以顺利运行，不联网就报错了？
115
1
0
ModelScope中，用bert分词 ，怎么查看bert的字典，怎么向字典里面加入自定义的字典？
78
1
0
有没有替代langchain框架split的,好用的 ModelScope框架或专注于分词的大模型？
144
0
0
modelscope-funasr的微调数据集的text需要添加空格或分词处理么？
109
1
0
modelscope-funasr英文热词的话代码内部会进行分词么，不分词的话也可能会变成unk？
83
0
0
在ModelScope中，我微调情感分析模型，是不是应该把数据进行违规符号删除和分词处理？
98
3
0
在ModelScope中有没有拼音分词（带有时间戳的）模型呀？
85
2
0
ModelScope怎么指定cpu运行分词模型？
347
1
0
ModelScope中分词模型输入128个字符会报错请问这里是限制字符长度有问题还是模型内问题？
219
1
0
ModelScope中有没英文分词的wordsegmentation模型呀？
170
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • 免费！文本表格不会总结、分析？文本表格可视化！帮你轻松解决困扰，保姆级级教程。【附Coze工作流】
  • 不会剪视频？Coze教你一键生成视频的AI工作流，保姆级搭建教程
  • AI Compass前沿速览：字节Seedream4.0、Qwen3-Max、EmbeddingGemma、OneCAT多模态、rStar2-Agent
  • 创新场景丨听力熊：让 1 亿 10 后拥有“随身智能体”
  • AI战略丨新一代 AI 应用: 穿透场景，释放价值

    • 热门讨论

    热门文章

  • modelscope-funasr 热词如何设置？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • modelscope-funasr模型可以国产化吗？可以部署在昇腾NPU上吗？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr支持粤语么？
  • modelscope-funasr有说话人分离功能吗？
  • modelscope-funasr输出的结果里可以区分说话人吗？
  • gpt3,加载数据时，MsDataset.load报错
    • 展开全部
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 让AI读懂K线图！ChatTS-14B：字节开源的时间序列理解和推理大模型，自然语言提问秒解趋势密码！
  • LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • 自然语言生成代码一键搞定！Codex CLI：OpenAI开源终端AI编程助手，代码重构+测试全自动
  • ComfyUI-Copilot：阿里把AI助手塞进ComfyUI：一句话生成工作流，自动布线/调参/选模型，小白秒变大神！
    • 展开全部
    还有其他疑问?
    咨询AI助理