评估数据集CGoDial问题之构建一个新的OpenIE评测范式的问题如何解决

简介: 评估数据集CGoDial问题之构建一个新的OpenIE评测范式的问题如何解决

问题一:当前OpenIE领域的工作通常采用什么样的评测方式?

当前OpenIE领域的工作通常采用什么样的评测方式?


参考回答:

当前OpenIE领域的工作通常采用独立同分布的评测方式,即训练集和测试集来源于分布类似的领域。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655758


问题二:为什么这种评测方式违背了OpenIE的初衷?

为什么这种评测方式违背了OpenIE的初衷?


参考回答:

因为这种评测方式限制了OpenIE从任意领域进行有效抽取的能力,而OpenIE的目标是能够从任意领域的文本中抽取知识。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655759


问题三:你们是如何构建一个新的OpenIE评测范式的?

你们是如何构建一个新的OpenIE评测范式的?


参考回答:

我们首先人工标注了一个大规模多领域的OpenIE测试集 GLOBE,并在SAOKE上训练模型,然后在GLOBE上测试,从而构建了一个更贴近真实的OpenIE评测范式。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655760


问题四:在新的评测范式下,当前的SOTA OpenIE模型表现如何?

在新的评测范式下,当前的SOTA OpenIE模型表现如何?


参考回答:

在新的评测范式下,当前的SOTA OpenIE模型会出现高达70%的性能损失。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655761


问题五:为什么SOTA模型在新的评测范式下性能损失如此之大?

为什么SOTA模型在新的评测范式下性能损失如此之大?


参考回答:

SOTA模型需要构建包含O(n^2)条连边的图来表示开放知识,任何一条连边错误都会导致错误的抽取结果,所以在领域变化导致抽取能力下降时不鲁棒。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/655762

相关文章
|
存储 JavaScript 前端开发
2022年前端js面试题
2022年前端js面试题
214 57
|
机器学习/深度学习 存储 算法
【2024泰迪杯】B 题:基于多模态特征融合的图像文本检索Python代码baseline
本文通过可视化分析,总结了2024年考研国家分数线的变化趋势,指出管理类MBA降低5分,哲学、历史学、理学、医学等10个专业分数线上涨,而经济学等专业出现下降,反映出不同专业分数线受考生数量、竞争情况和政策调整等因素的影响。
210 2
【2024泰迪杯】B 题:基于多模态特征融合的图像文本检索Python代码baseline
|
安全 IDE Java
MapStruct-JavaBean映射工具使用指南
MapStruct-JavaBean映射工具使用指南
211 9
|
存储 数据采集 监控
量化交易开发正式版丨量化交易系统开发策略项目/指南功能/方案需求/案例设计
量化交易系统开发策略的指南可以涵盖以下几个关键方面:
|
网络协议 数据库 数据安全/隐私保护
OSPF基础(二):OSPF区域、router-ID、度量值、修改度量值的方法、OSPF协议报文类型、OSPF邻接关系建立过程
OSPF基础术语讲解、OSPF区域、router-ID、度量值,OSPF度量值的计算方式、修改方式。 OSPF协议报文类型,OSPF三大表项-邻居表,常用的ospf查看方式,邻接关系的建立过程。
OSPF基础(二):OSPF区域、router-ID、度量值、修改度量值的方法、OSPF协议报文类型、OSPF邻接关系建立过程
|
监控
构建三维一体立体化监控,看这一篇就够了!
如果你需要搭建一套能够立体化监控你的应用及业务,出现问题及时告警的监控体系,这篇文章应该是你所需要的!
727 0
构建三维一体立体化监控,看这一篇就够了!
|
JavaScript 前端开发 Java
|
数据建模 数据安全/隐私保护
从0到1带你构建——低代码开发入门案例
从0到1带你构建——低代码开发入门案例
665 0
|
JSON 缓存 JavaScript
web前端面试宝典——带你直击面试重难点(40个经典题目,涵盖近90%的考点,码字2w,干货满满!)
web前端面试宝典——带你直击面试重难点(40个经典题目,涵盖近90%的考点,码字2w,干货满满!)
357 0