PLAN:关注用户交互的可解释微博谣言检测

简介: PLAN:关注用户交互的可解释微博谣言检测

论文标题:Interpretable Rumor Detection in Microblogs by Attending to User Interactions


论文链接:https://arxiv.org/abs/2001.10667


论文来源:AAAI 2020


一、概述


本文工作的重点是利用社区对帖子响应回复来检测帖子是否是谣言,这方面的研究旨在使用自然语言处理技术来利用社区群体智能。这类工作的关键原则是,社交媒体上的用户会发表对不准确信息的看法、猜测和证据。用户之间的互动以及分享的内容可以被捕捉,用于假新闻检测。下面是一个假新闻及其评论的样本:


QQ截图20220612092555.png

                                                 example

之前有方法将源推文和响应推文组织成上述树状结构,节点的父亲节点是该推文所回复的推文,然后使用树模型(递归神经网络或者tree LSTMs等)来进行谣言检测,目的是对对话过程中的结构信息进行建模。在树形结构中,信息要么从父亲节点流向子节点,要么反过来,然而使用这样的树形结构来建模对话过程的结构可能是不够的。每个用户通常都能观察到对话中不同分支的所有回复。一个用户揭穿一个假新闻可能不只是针对他要回复的人,他发表的内容可能也针对整个对话过程中的其他推文(这说明树的不同分支的节点之间也可能有交互)。树模型不能建模不同分支的节点之间的交互,这是它的主要限制。我们应该考虑所有推文之间的交互,而不仅仅是父亲节点和子节点之间的交互,以便更好地从回复推文中聚合信息。

本文致力于解决上述限制,我们将树形结构展平,按照推文发表的时间顺序来将所有推文组织成序列结构。本文基于transformer架构提出post-level attention model (PLAN),能够允许所有推文之间的两两交互,进一步通过引入结构信息(structure aware)来改进模型(StA-PLAN),再进一步设计一种 structure aware hierarchical token post-level attention network (StA-HiTPLAN)来学习每篇推文的更复杂的表示。


二、方法


  1. 问题定义


QQ截图20220611182002.png

QQ截图20220611194339.png


  1. Transformer架构

Transformer模型用来学习输入序列的长程依赖关系,应用这一特性,我们就可以利用transformer来学习展平的推文序列任意推文之间的两两交互关系。本小节简要介绍一下transformer的multi-head attention (MHA)层,构成transformer的每一层都包含一个self-attention子层和一个前馈子层,其中self-attention层是multi-head的,简要介绍self-attention层架构如下:


QQ截图20220611194438.png


QQ截图20220611194538.png

QQ截图20220611194607.png

对transformer不熟悉的同学可以参考:

①Transformer:Attention Is All You Need

②Transformer|深度学习(李宏毅)(八)


  1. Post-Level Attention Network (PLAN)


下图(a)展示了PLAN的架构:

QQ截图20220612092626.png

                                                   架构


QQ截图20220611194712.png

QQ截图20220611194753.png


QQ截图20220611194845.png


  1. Structure Aware Post-Level Attention Network (StA-PLAN)

PLAN因为展平树形结构使用序列作为输入而丢失了结构信息,StA-PLAN使用以下方式来引入结构信息:


QQ截图20220611194923.png


QQ截图20220611194954.png


  1. Structure Aware Hierarchical Token and Post-Level Attention Network (StA-HiTPLAN)

在获得推文的句子表示时采用的是max-pooling的方法,可以考虑采用更理想的方式来学习推文内token的重要性,于是我们提出了一个hierarchical attention model,也就是现在token-level进行attention来学习句子表示,然后再进行post-level attenion。StA-HiTPLAN的架构如上图(b)所示(上图中Tweet Level Self-Attention下面的两个方框画反了)。

QQ截图20220611195025.png


  1. Time Delay Embedding


不同时间间隔创建的推文可能会有不同的作用。在源推文刚刚创建时,由于其是未经验证的,因此会有一些推文表达不信任,而在传播过程的后期,表达质疑的推文很可能表明源推文是假的。因此本文提出一种方法来编码时间延迟信息。


为了包含每条推文的时间延迟信息,我们根据创建源推文时的延迟对推文进行划分。总计bin数量为100,每个时间bin为10分钟间隔,推文延迟超过1000分钟的归入最后一个bin。利用transfomer原论文中类似的positional encoding来编码每个时间bin,得到的time delay embedding将与推文的句子embedding相加。每个推文的time delay embedding(TDE)为:


QQ截图20220611195134.png


QQ截图20220611195158.png


三、实验

  1. 数据集

本文实验在Twitter15和Twitter16以及PHEME数据集上进行,以下是两个数据集的统计情况:

QQ截图20220612092731.png

                                                      数据集统计


  1. 实验

QQ截图20220611195237.png

下面是在所有数据集上的实验效果:

QQ截图20220612092806.png

                                      Twitter15和Twitter16

QQ截图20220612092842.png

                                                PHEME

  1. 可解释性


  • Post-Level Explanations


QQ截图20220611195237.png

QQ截图20220612092932.png

                                                     example


  • Token-Level Explanation


可以使用token-level self-attention的自注意力权重来进行token-level的解释。比如评论“@inky mark @CP24 as part of a co-op criminal investigation one would URL doesn’t need facts to write stories it appears.”中短语“facts to write stories it appears”表达了对源推文的质疑,下图的自注意力权重图可以看出大量权重集中在这一部分,这说明这个短语就可以作为一个解释:

QQ截图20220612093016.png

                                                自注意力权重




相关文章
|
机器学习/深度学习 算法
低光图像增强
这篇摘要讨论了低光照图像增强技术,涉及HDRNet、GAN、轻量化伪影、语义分割网络和Retinex等方法。核心任务是提升图像亮度和细节。方法包括分布映射(如伽马矫正、直方图均衡化)、模型优化(Retinex理论)和深度学习(亮度增强与噪声去除)。传统方法不依赖数据,但可能产生伪影;深度学习方法需大量训练数据,无监督学习更优。不足之处在于缺乏成对数据集和精确标签。
852 1
|
存储 XML JSON
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
|
人工智能 城市大脑 运维
喜讯!阿里云国产异构GPU云平台技术荣获“2025算力中国·年度重大成果”
2025年8月23日,在工业和信息化部新闻宣传中心、中国信息通信研究院主办的2025中国算力大会上,阿里云与浙江大学联合研发的“国产异构GPU云平台关键技术与系统”荣获「算力中国·年度重大成果」。该评选旨在选拔出算力产业具有全局性突破价值的重大成果,是业内公认的技术创新“风向标”。
1180 0
|
7月前
|
人工智能 编解码 自然语言处理
AI电影解说的技术链路拆解:从视频理解到自动剪辑
AI电影解说的技术链路拆解:从视频理解到自动剪辑
1619 10
|
7月前
|
缓存 安全 算法
深入拆解 Java CAS:从底层原理到 ABA 问题实战
本文深入解析Java中CAS(比较并交换)的底层原理:从CPU指令级支持(cmpxchg、缓存锁/总线锁)、Unsafe类的核心作用,到ABA问题的成因及AtomicStampedReference等解决方案,全面剖析无锁并发机制的优劣与实践要点。
484 10
|
7月前
|
安全 编译器 调度
星河璀璨,微内核之上的代码诗篇:鸿蒙原生开发手记
鸿蒙系统以微内核+分布式架构重构生态:剥离历史包袱,实现跨设备无缝协同;ArkTS语言支持AOT编译与强类型安全;声明式UI、Stage模型、服务卡片等技术共同构建高性能、多端统一的开发范式。(239字)
407 0
|
9月前
|
弹性计算 人工智能 小程序
阿里云轻量应用服务器详解:2026最新轻量费用价格、免费申请及问题解答FAQ
阿里云轻量应用服务器(2026新版)主打“开箱即用、高性价比、操作简单”,全系默认200Mbps峰值带宽,支持WordPress/宝塔等预装镜像,¥38起/年,新用户可免费试用1个月。适合建站、开发测试及AI小模型部署,是中小企业与开发者的上云首选。(239字)
2435 0
|
8月前
|
存储 弹性计算 双11
阿里云优惠券在哪里领取?2026年阿里云代金券、上云补贴活动整理
2026年阿里云推出全覆盖优惠:新用户享7.5折券、300元无门槛券;学生领300元专属券;企业获算力/出海补贴最高10万元;飞天加速计划云服务器低至38元/年。涵盖权益中心、云小站、学生专区等多入口,助用户低成本上云。
1415 4
|
存储 数据安全/隐私保护 芯片
U盘突然读不出来?教你几招轻松解决问题
U盘不识别怎么办?可能是接口问题、系统异常或U盘损坏。先换接口或电脑尝试,再检查磁盘管理与设备管理器,确认是否识别。若提示格式化,勿急操作,先恢复数据再格式化。如无法格式化,可能是硬件故障,建议寻求专业帮助。教你一步步排查与修复,保障数据安全!