开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

space-t 如何区分大小写?

space-t 使用到的tokenizer是否对英文不区分大小写,我们尝试了一下对大写条件的查询,比如查询名称为'A'的基金,但是在sql结果里回将其转换为查询名称'a'的基金,这样就无法通过sql执行器找到对应的结果。请问如何来区分大小写?谢谢

展开
收起
吴鑫即宇宙 2023-04-11 16:57:53 386 0
1 条回答
写回答
取消 提交回答
  • 您好,由于这个模型是基于BERT框架的,而BERT的词表并没有办法支持大小写,因为他会把所有的大写字母转换成小写然后输给模型。 解决办法可以如下: 1. 将表格中的每个单元格进行小写处理然后保存; 2. 对模型预测的结果查询小写处理后的表格; 3. 获得的结果再反向查找原始表格;

    2023-06-20 10:57:13
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载