开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

如果我的表格中的数据都是专业性比较强的术语,或者是一些参数的缩写也可以正常识别吗?

具体需要怎么进行操作,或者是需要配置什么东西吗?

展开
收起
就叫冰块吧 2022-10-31 11:53:42 1212 1
1 条回答
写回答
取消 提交回答
  • 表格数据是专业性较强的属于或者缩写也是可以支持的,但是可能效果并不是特别好,如果想提升效果,可以通过配置近义词的方式,增强模型的能力。

    主要通过在初始化Database类的时候,导入近义词词典syn_dict_file_path,这个词典用户可以自行配置。具体如下:

    db = Database(
        tokenizer=tokenizer,
        table_file_path=os.path.join(model.model_dir, 'table.json'),
        syn_dict_file_path=os.path.join(model.model_dir, 'synonym.txt'),
        is_use_sqlite=True)
    

    近义词词典文件可以在模型文件中对应的synontm.txt找到,示例如下图: image.png 比如,你的表格中有个列叫“GDP”,但是你的问题可能是“中国2021年国民生产总值是多少?”模型如果没有识别出来,通过配置近义词“GDP | 国民生产总值”的方式,可以让模型能够正确识别。

    2022-10-31 14:40:14
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
软件定义的数据智能 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载