MUSIED: ABenchmark for Event Detection from Multi-Source Heterogeneous Informal Texts
期刊/会议：Arxiv 2022
摘要
事件检测（ED）从非结构化文本中识别和分类事件触发词，作为信息抽取的基本任务。尽管在过去几年中取得了显著进展，但大多数研究工作都集中于从正式文本（例如新闻文章、维基百科文档、财务公告）中检测事件。此外，每个数据集中的文本要么来自单一来源，要么来自多个相对同类别的来源。随着大量用户生成的文本在网络和企业内部积累，在这些非正式文本中识别有意义的事件（通常来自多个不同来源）已成为一个具有重大实用价值的问题。作为将事件检测扩展到涉及非正式和异构文本的场景的开拓性探索，我们在领先的食品服务电子商务平台中，基于用户评论、文本对话和电话对话，提出了一个新的大规模中文事件检测数据集。我们通过定量和定性检查数据样本，仔细研究了所提出数据集的文本非正规性和多源异质性特征。使用最先进的事件检测方法进行的大量实验验证了这些特征带来的独特挑战，表明多源非正式事件检测仍然是一个开放的问题，需要进一步努力。
1、简介
现有的事件抽取工作存在两个问题：1、当前的工作主要是从正式的文本中进行事件检测，如ACE2005、MEAVEN(来自Wikipedia)等。2、目标事件相关文本要么来自单一来源，要么来自多个同质来源。
为了解决这两个问题，我们将事件检测扩展到涉及非正式和异构文本的场景。我们基于中国最受欢迎的食品服务电子商务平台美团构建了一个新的大规模中国事件检测数据集，该数据集为用户提供了多种反馈食品安全问题（事件）的方式，例如发布评论和与售后人员沟通。我们从三个典型场景中收集脱敏数据：i）用户发布评论，ii）用户通过短信与售后人员沟通，以及iii）用户通过电话与售后人员交流。通过抽取用户评论、文本对话和电话对话，我们创建了一个由多源异构非正式文本组成的大规模数据集，用于事件检测（MUSIDE）。
我们的贡献可以总结如下：
- 我们通过精心策划一个新的大规模数据集，首次将事件检测扩展到涉及非正式和异构文本的场景。
- 使用最先进的方法进行的广泛实验验证了文本非正规性和多源异质性特征带来的独特挑战，并指出了值得探索的多个有前途的方向。
2、事件检测定义
事件：涉及参与者的特定事件（地点、时间、主题、对象等）。事件提及：描述事件的短语或句子。事件触发词：最清楚地表达事件发生的主要单词或短语。事件类型：事件的语义类。
ED通常分为两个子任务：（1）触发词识别，旨在识别事件触发词。（2） 触发词分类，旨在将识别的触发词分类为预定义的类别。这两个子任务都以micro precision、recall和F1 score进行评估。
3、数据收集和标注
该模式包含21种事件类型，广泛涵盖了用户对上述情况的反馈。
4、数据分析
触发词偏长、多事件、多错字的特点。
5、实验
6、总结和未来工作
我们展示了MUSIED，这是一个用于事件检测的大规模多源异构非正式文本数据集，基于在线食品服务的用户评论、文本对话和电话对话。广泛的评估验证了文本非正规性和多源异质性特征带来的独特挑战。我们的深入研究提出了多个有前景的方向，包括利用文档级信息、多领域学习和领域适应。未来，我们有兴趣将MUSIED扩展到更多与事件相关的任务，如事件论元抽取。
有前景的方向，包括利用文档级信息、多领域学习和领域适应。未来，我们有兴趣将MUSIED扩展到更多与事件相关的任务，如事件论元抽取。
