备案控制台
探索云世界
开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

我看预训练模型里面的有和多@符号以及<OOV>的modelscope-funasr这种词，是啥意思？

关于tokens.json的生成，我看预训练模型里面的有和多@符号以及的modelscope-funasr这种词，是啥意思？如果用aishell里面的脚本来生成token，是所有的词都需要吗？还是需要根据词频来？

展开
收起
三分钟热度的鱼 2024-04-17 20:42:13 9 0
0 条回答
写回答
取消 提交回答
相关问答
手机号码定位,是根据什么原理来确定位置的?
22207
28
0
有哪些值得收藏的五个种子搜索引擎&磁力搜索引擎？
64489
13
0
什么是二进制？二进制怎么算？
24687
32
0
OSS的endpoint如何查看
25700
3
0
sql server的用户名和密码怎么查啊？
27879
19
0
如果购买了域名，一定要备案才能用吗
26860
20
0
购买阿里国外的云服务器是否可以访问谷歌？
70060
42
0
访问ECS服务器的网站提示“由于你访问的URL可能对网站造成安全威胁，您的访问被阻断”，这是什么原因？
113339
11
0
ios繁体字怎么设置
20636
11
0
算法工程师是学什么专业出身的？
14215
20
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

热门讨论

热门文章

  • 如何下载llama模型到本地？
    1916
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
    334
  • 练的pth模型文件，怎么转成bin文件？
    173
  • qwen下用finetune/finetune_lora_single_gpu.sh脚本执行微调失败
    373
  • ChatGLM3-6B微调Could not find cuda drivers
    232
  • 使用这个模型本地推理时访问modelscope的80端口
    23
  • 怎么抽取GPT-3 预训练模型的emb向量？
    1208
  • 如何提高qwen-7b-chat-int4的并行处理能力
    863
  • gpt3,加载数据时，MsDataset.load报错
    836
  • 关于通义千问Qwen-7B-Chat模型下载问题
    1035
    • 展开全部
  • DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
    188
  • 表格问答
    528
  • ModelScope X 昇腾910快速上手
    163
  • 高通量基因测序在药物研发和靶向治疗中的应用（一）
    732
  • AI智能写作工具
    715
  • AI + 分子模拟，赋能药物发现新源头（三）
    504
  • 魔哈：Grok国内镜像
    132
  • 使用ModelScope社区搭建OCR应用
    1174
  • 中文大模型评测
    654
  • 自然语言入门：NLP数据读取与数据分析
    326
    • 展开全部

    相关文章

  • 大语言模型的未来发展方向主要集中在以下几个方面
  • 了解并使用OpenAI的ChatGPT-3.5模型进行自然语言处理
  • 探索机器学习中的自然语言处理技术
  • 利用 AI 延长自己的编程寿命
  • 探索Spring AI：将人工智能与软件开发无缝融合

    • 相关电子书

    更多
    • 低代码开发师（初级）实战教程 立即下载
    冬季实战营第三期：MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载