问题一:当前OpenIE领域的工作通常采用什么样的评测方式?
当前OpenIE领域的工作通常采用什么样的评测方式?
参考回答:
当前OpenIE领域的工作通常采用独立同分布的评测方式,即训练集和测试集来源于分布类似的领域。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/655758
问题二:为什么这种评测方式违背了OpenIE的初衷?
为什么这种评测方式违背了OpenIE的初衷?
参考回答:
因为这种评测方式限制了OpenIE从任意领域进行有效抽取的能力,而OpenIE的目标是能够从任意领域的文本中抽取知识。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/655759
问题三:你们是如何构建一个新的OpenIE评测范式的?
你们是如何构建一个新的OpenIE评测范式的?
参考回答:
我们首先人工标注了一个大规模多领域的OpenIE测试集 GLOBE,并在SAOKE上训练模型,然后在GLOBE上测试,从而构建了一个更贴近真实的OpenIE评测范式。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/655760
问题四:在新的评测范式下,当前的SOTA OpenIE模型表现如何?
在新的评测范式下,当前的SOTA OpenIE模型表现如何?
参考回答:
在新的评测范式下,当前的SOTA OpenIE模型会出现高达70%的性能损失。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/655761
问题五:为什么SOTA模型在新的评测范式下性能损失如此之大?
为什么SOTA模型在新的评测范式下性能损失如此之大?
参考回答:
SOTA模型需要构建包含O(n^2)条连边的图来表示开放知识,任何一条连边错误都会导致错误的抽取结果,所以在领域变化导致抽取能力下降时不鲁棒。
关于本问题的更多回答可点击原文查看: