ModelScope表格问答小助手_个人页

在database文件夹和table.json这个里面哈～

您好，由于这个模型是基于BERT框架的，而BERT的词表并没有办法支持大小写，因为他会把所有的大写字母转换成小写然后输给模型。 解决办法可以如下： 1. 将表格中的每个单元格进行小写处理然后保存； 2. 对模型预测的结果查询小写处理后的表格； 3. 获得的结果再反向查找原始表格；

您好，我们对近义词的处理正在改进中，另外，我们的模型对同义词的处理可以通过配置近义词词表进行暂时的提升，具体近义词词表可以通过modelcard中的synonym.txt进行配置

您好，模型训练的过程中，已经将表格的信息转化到数据里，如下图， 因此，训练数据不需要用到table.json，但是预测的时候需要用到的

可以参考这个链接～ https://developer.aliyun.com/ask/488580?spm=a2c6h.13066369.question.7.3a766fc1DQZoXC

您好，可以参考 https://modelscope.cn/studios/damo/Text2SQL4BI/summary ，里面有搭建的详细代码，具体使用可以参考 https://modelscope.cn/docs/%E5%88%9B%E7%A9%BA%E9%97%B4%E4%BB%8B%E7%BB%8D 。

SPACE-T表格问答预训练模型是基于中文表格和数据进行训练的，而star和sdsql则是english-based

PRIMARY代表主键，MODIFIER代表其他，不过这个配置并没有在模型中使用到

agg表示SELECT的聚合函数，序号和上图中的list的index对应，分别表示，求平均、求最大值、求最小值、计数、求和、比较、聚合、对比是否相同、环比、同比、趋势。 sel表示SELECT的列序号，序号和header的index对应。 action表示多轮对话中的转换，具体如上图中的定义。 cond_conn_op表示WHERE的连接符，和上图中的index对应。 conds表示WHERE的每一个条件，数组里的每一个item表示：1）列序号、2）操作符，和 cond_ops这个的序号对应、3）值出现在question中的字符串（这个值如果为Null则表示没有WHERE条件）、4）值归一化后的字符串。 history_sql表示历史SQL，和sql这个字段格式相同，只是用单轮的话可以置为None。 wvi_corenlp表示WHERE条件中每个值对应question中的序号，如果只为-100表示没有对应到question。 bert_knowledge：与question_tok等长，每一位表示question中的token是否和table schema有linking header_knowledge：与header等长，每一位表示该header是否和question中的token是否有linking 训练和测试代码是可以跑通的，如果跑不通可以升级下modelscope库试试看，如果还有问题的话，可以贴下报错代码我这里给您解答下

agg表示SELECT的聚合函数，序号和上图中的list的index对应，分别表示，求平均、求最大值、求最小值、计数、求和、比较、聚合、对比是否相同、环比、同比、趋势。 sel表示SELECT的列序号，序号和header的index对应。 action表示多轮对话中的转换，具体如上图中的定义。 cond_conn_op表示WHERE的连接符，和上图中的index对应。 conds表示WHERE的每一个条件，数组里的每一个item表示：1）列序号、2）操作符，和cond_ops这个的序号对应、3）值出现在question中的字符串（这个值如果为Null则表示没有WHERE条件）、4）值归一化后的字符串。 history_sql表示历史SQL，和sql这个字段格式相同，只是用单轮的话可以置为None。 wvi_corenlp表示WHERE条件中每个值对应question中的序号，如果只为-100表示没有对应到question。 bert_knowledge：与question_tok等长，每一位表示question中的token是否和table schema有linking。 header_knowledge：与header等长，每一位表示该header是否和question中的token是否有linking。

如果是inference过程，可以参考这个链接，https://developer.aliyun.com/ask/465934?spm=a2c6h.17735075.0.0.5c8d60fcMN14hG 如果是fine-tuning过程，由于现在模型的fine-tuning代码还没有开源，可能需要等待下一个版本开源后才能使用～

原因是本地的modelscope版本过低引起的，需要安装到最新的modelscope才可以正常运行，安装最新的modelscope可以参考如下链接：ModelScope官方文档。这里直接把更新指令贴出来：pip install 'modelscope' --upgrade -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

Space-T是在SDCUP基础上继续优化的，融入了更多的训练数据，以及多轮对话的能力，所以效果也会更好

是的，后续会对SQL-to-Answer做一些改进。主要对预测的SQL基于规则做一些后处理，从而使得输入SQL执行器的SQL语句能够正确执行。

表格数据是专业性较强的属于或者缩写也是可以支持的，但是可能效果并不是特别好，如果想提升效果，可以通过配置近义词的方式，增强模型的能力。 主要通过在初始化Database类的时候，导入近义词词典syn_dict_file_path，这个词典用户可以自行配置。具体如下： db = Database( tokenizer=tokenizer, table_file_path=os.path.join(model.model_dir, 'table.json'), syn_dict_file_path=os.path.join(model.model_dir, 'synonym.txt'), is_use_sqlite=True) 近义词词典文件可以在模型文件中对应的synontm.txt找到，示例如下图： 比如，你的表格中有个列叫“GDP”，但是你的问题可能是“中国2021年国民生产总值是多少？”模型如果没有识别出来，通过配置近义词“GDP ｜ 国民生产总值”的方式，可以让模型能够正确识别。

是的，现在主要支持的是mysql的语法结构。

SPACE-T内置了一个基于SQLite的SQL执行器，在Database类中，初始化了SQL执行器，而且设置了一个开关is_use_sqlite，这个开关默认置为了True。具体如下： db = Database( tokenizer=tokenizer, table_file_path=os.path.join(model.model_dir, 'table.json'), syn_dict_file_path=os.path.join(model.model_dir, 'synonym.txt'), **is_use_sqlite=True**) 这里，也可以显示将is_use_sqlite置为True。这样，模型返回值里面对应的output_dict[OutputKeys.QUERT_RESULT]就保存了执行结果。 当然，你也可以将模型返回的sql-query（output_dict[OutputKeys.SQL_QUERY]）放到其他SQL执行器里执行

SPACE-T是支持多轮问答的。 调用方法如下所示： historical_queries = None for question in questions: output_dict = pipeline({ 'question': question, 'history_sql': historical_queries })[OutputKeys.OUTPUT] historical_queries = output_dict[OutputKeys.HISTORY] 在每个多轮对话session中，需要初始化对话历史historical_queries为None。在每一轮对话过程中，模型会接收historical_queries作为输入表示历史信息。而在每次调用返回值中，将模型返回的sql信息output_dict[OutputKeys.HISTORY]存入historical_queries然后再传入模型，就可以支持多轮对话了。

可以自己上传表格，示例代码里面贴了可以自定义配置Database这个类 db = Database( tokenizer=tokenizer, table_file_path=os.path.join(model.model_dir, 'table.json'), syn_dict_file_path=os.path.join(model.model_dir, 'synonym.txt'), is_use_sqlite=True) 但是这里需要把table_file_path配置成自己的表格文件即可，但是这个表格里面存储的内容需要和模型文件里面的table.json的格式类似。就像下面这个结构。