Self-supervised graph convolutional network for multi-view clustering(论文阅读记录)

简介: IEEE TRANSACTIONS ON MULTIMEDIA 2区top 2022 影响因子:6.005

摘要

现有方法直接利用图结构做为视图描述符,可能会抑制多视图学习能力、同时图结构可能包含异常值。基于以上问题、作者提出sgcmc。 Sgcmc通过欧拉变换将原始节点映射到复杂空间中,构建一个新视图。该分法不仅抑制了异常值,还揭示了数据的非线性嵌入摸式。同时该方法使用聚类标签来指导潜在表示和系数矩阵的学习。有助于后续节点聚类。通过该方法、聚类和表示学习连接,有助于提高聚类性能。


关键词

节点聚类、图表示学习、多视图学习、子空间聚类、自监督


背景

GCN被用于动作识别,姿势估计,垃圾邮件检测,文本分类、节点聚类等任务.
本文主要集中于节点聚类任务

节点聚类的常用方法:GAE(图自编码器), ARGAE(对抗正则化图自编码器), GAT(图自注意力网络)→捕获邻居节点的重要性。DAEGC(深度注意力嵌入图聚类方法)
问题:这些方法仅仅通过内积解码器来重构图结构,因此解码器不可学习,导致图embedding能力下降
GATE(图注意力自编码器)同时重构图结构和节点内容,使得潜在表示很好保留图结构和节点内容。

多视图提供互补信息有助于聚类。方法:CO-GCN:半监督方法,分别将节点和结构视为两个视图,分别对每个视图训练图编码器。问题:直将将图结构做为视图描述符,存在异常值。对非欧数据如何构建视图描述符是关键。忽略了不准确标签中的有用信息.

基于以上问题,sgcmc构建视图描述符→通过欧拉变换将原始点内容映射到复杂空间。不仅抑制异常值,还揭示嵌入数据的非线性模式。
第一步:学习每个视图的潜在表示以及不同视图共享的系数矩阵,将不同视图的输入映射到前向通道的潜在空间,
第二步:实现节点聚类,并使用聚类标签来指导潜在表示和系数矩阵的学习。

贡献:
用不准确的聚类标签,实现多视图自监督聚类框架。使用欧拉变换提取的特征做为视图描述符而不直接使用图结构。
数据集上测试其性能好。


相关工作

回顾多视图聚类和图嵌入学习相关文章
图嵌入学习:旨在学习低维节点表示,同时保留节点的内容信息和拓扑结构。主要分为TSE(拓扑结构嵌入)和CEGE(内容增强图嵌入),TES只针对拓扑结构,CEGE可以探索具有节点内容信息的图结构
但是目前所有方法仅立用单视图图结构和节点内容
与之前方法不同,本方法利用欧拉表示构造一个新的节点内容描述符,然后学习一组多视图图自编码器.将输入节点映射到另一个空间,最后本方法使用新的潜在空间中的节点系数矩阵来计算聚类的affinity矩阵(相似度矩阵)。

DCCA,DCCAE,CO-gcn,O2MAC→只对单视图节点内容信息进行编码。因此本文通过结合GCN和自监督策略的多视图图嵌入聚类。


实现过程

构建多视图描述

原始节点描述符→ X(1)→欧拉变换→X(2)

image-20221015094652878

子空间节点聚类模型

子空间聚类旨在学习一个由不同视图共享的系数表示矩阵,然后进行聚类。
sgcmc通过两个联合摸块获得节点聚类结果。一个模块是图注意力自编码器,另一个是同时监督潜在表示和系数表示的自监督学习模块。

image-20221015094812221

假定所有视图都有相同的图结构,F(v)是图注意力编码器中学到的潜在表示,

image-20221015094915791

为了获得一个好的由多个视图共享的系数矩阵,使用潜在表示的自我表达操作,被定义为:

image-20221015095027081

C为视图一致性系数表示

在图学习之后使用NCut算法获得节点的聚类标签。

自监督学习模型

监督潜在表示F(v),引入基于交叉熵的目标函数:

image-20221015095309615

其中Y(v)是由f(v)获得的预测标签矩阵,引入三层全连接层.L是聚类得到的伪聚类标签的onehot格式.

损失函数优化:Adam算法

激活函数:Relu

最后一层:Softmax

image-20221015095659572


总结

本文为单拓扑结构,多节点属性数据,其中节点属性的另一个视图是根据原始节点通过欧拉变换得到。


相关文章
|
11天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
MTCNN(Multi-task Cascaded Convolutional Networks)
MTCNN(Multi-task Cascaded Convolutional Networks)
13 0
|
11月前
|
自然语言处理 算法
【论文精读】COLING 2022 - CLIO: Role-interactive Multi-event Head Attention Network for DEE
将网络上的大量非结构化文本转换为结构化事件知识是NLP的一个关键但尚未解决的目标,特别是在处理文档级文本时。
44 0
|
11月前
|
人工智能 自然语言处理 算法
【论文精读】AAAI 2022 - OneRel Joint Entity and Relation Extraction with One Module in One Step
联合实体和关系提取是自然语言处理和知识图构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于执行
97 0
|
11月前
|
机器学习/深度学习 自然语言处理 算法
SS-AGA:Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment 论文解读
预测知识图(KG)中缺失的事实是至关重要的,因为现代知识图远未补全。由于劳动密集型的人类标签,当处理以各种语言表示的知识时,这种现象会恶化。
68 0
|
算法 数据挖掘
论文阅读笔记:GMC Graph-Based Multi-View Clustering
论文阅读笔记:GMC Graph-Based Multi-View Clustering
156 0
论文阅读笔记:GMC Graph-Based Multi-View Clustering
|
Windows
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
132 0
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
|
机器学习/深度学习 知识图谱
论文笔记:Multi-dimensional Graph Convolutional Networks
论文笔记:Multi-dimensional Graph Convolutional Networks
146 0
论文笔记:Multi-dimensional Graph Convolutional Networks
|
数据挖掘
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
|
编解码 自动驾驶 测试技术
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
249 0
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection

热门文章

最新文章

  • 1
    流量控制系统,用正则表达式提取汉字
    25
  • 2
    Redis09-----List类型,有序,元素可以重复,插入和删除快,查询速度一般,一般保存一些有顺序的数据,如朋友圈点赞列表,评论列表等,LPUSH user 1 2 3可以一个一个推
    26
  • 3
    Redis08命令-Hash类型,也叫散列,其中value是一个无序字典,类似于java的HashMap结构,Hash结构可以将对象中的每个字段独立存储,可以针对每字段做CRUD
    25
  • 4
    Redis07命令-String类型字符串,不管是哪种格式,底层都是字节数组形式存储的,最大空间不超过512m,SET添加,MSET批量添加,INCRBY age 2可以,MSET,INCRSETEX
    27
  • 5
    S外部函数可以访问函数内部的变量的闭包-闭包最简单的用不了,闭包是内层函数+外层函数的变量,简称为函数套函数,外部函数可以访问函数内部的变量,存在函数套函数
    23
  • 6
    Redis06-Redis常用的命令,模糊的搜索查询往往会对服务器产生很大的压力,MSET k1 v1 k2 v2 k3 v3 添加,DEL是删除的意思,EXISTS age 可以用来查询是否有存在1
    30
  • 7
    Redis05数据结构介绍,数据结构介绍,官方网站中看到
    21
  • 8
    JS字符串数据类型转换,字符串如何转成变量,+号只要有一个是字符串,就会把另外一个转成字符串,- * / 都会把数据转成数字类型,数字型控制台是蓝色,字符型控制台是黑色,
    19
  • 9
    JS数组操作---删除,arr.pop()方法从数组中删除最后一个元素,并返回该元素的值,arr.shift() 删除第一个值,arr.splice()方法,删除指定元素,arr.splice,从第一
    19
  • 10
    定义好变量,${age}模版字符串,对象可以放null,检验数据类型console.log(typeof str)
    19