预训练模型STAR问题之Doc2Bot数据的问题如何解决

问题一：为什么这种评测方式违背了OpenIE的初衷？

为什么这种评测方式违背了OpenIE的初衷？

参考回答：

因为这种评测方式限制了OpenIE从任意领域进行有效抽取的能力，而OpenIE的目标是能够从任意领域的文本中抽取知识。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/655759

问题二：你们是如何构建一个新的OpenIE评测范式的？

你们是如何构建一个新的OpenIE评测范式的？

参考回答：

我们首先人工标注了一个大规模多领域的OpenIE测试集 GLOBE，并在SAOKE上训练模型，然后在GLOBE上测试，从而构建了一个更贴近真实的OpenIE评测范式。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/655760

问题三：在新的评测范式下，当前的SOTA OpenIE模型表现如何？

在新的评测范式下，当前的SOTA OpenIE模型表现如何？

参考回答：

在新的评测范式下，当前的SOTA OpenIE模型会出现高达70%的性能损失。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/655761

问题四：为什么SOTA模型在新的评测范式下性能损失如此之大？

为什么SOTA模型在新的评测范式下性能损失如此之大？

参考回答：

SOTA模型需要构建包含O(n^2)条连边的图来表示开放知识，任何一条连边错误都会导致错误的抽取结果，所以在领域变化导致抽取能力下降时不鲁棒。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/655762

问题五：Doc2Bot数据集主要解决了什么问题？

Doc2Bot数据集主要解决了什么问题？

参考回答：

Doc2Bot数据集主要解决了现有文档对话数据集忽略文档中结构信息（如标题、序号和表格）的问题，这些结构信息对于机器理解文档内容非常重要。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/655763