图神经网络01-基于Graph的机器学习简介(上)

简介: 图神经网络01-基于Graph的机器学习简介(上)

1 为什么需要Graphs


Graphs(图)是用于描述和分析具有关系/互动的实体的通用语言


1.png


因为图论以及Graph充斥在我们学习和生活的方方面面:

  • Event Graphs:事件图谱,比如我们常见的飞机航班图,从登机到我们安全抵达目的地,其中航班飞机与乘客之间发生了许多事情。
  • Computer Networks:计算机网络拓扑图,在万维网中人们通过各种形式正在冲浪,云服务器、中转机、个人电脑组成了一个非常庞大的网络图
  • 疾病传播图:我们以近期北京顺义新冠病例传播为例,此次顺义区局部聚集性疫情为单一传播链,初步判断疫情感染来源为12月28日报告新增的1例境外输入无症状感染者。
  • Food Webs:食物链,一个基于知识图谱创建动物app的例子为一款由腾讯联合WWF打造、名为「神秘雪豹在哪里」的微信小程序。而且上线2天,便有超过10万人在使用。打开「神秘雪豹在哪里」小程序,点击图片上雪豹的不同部位,便可查看相应的知识点,如雪豹的分布区域、身体结构、成长阶段、生存环境等。「同域物种生物链图谱」则展示了雪豹相关生物链上每一个物种的简介https://www.jiqizhixin.com/articles/2020-10-29-6
  • Particle Networks:人们所认识的宇宙世界是由原子和其他基本粒子组成,原子则是由原子核与电子组成,原子核是由质子和中子构成,而质子和中子是夸克和胶子构成的。随着实验和理论的发展,科学家形成了描述宇宙构成和相互作用的“标准模型”。
  • Underground Networks:地图线路图


2.png


  • Social Networks:社交网络
  • Economic Networks:金融贸易网络
  • Citation Networks:科技文献相互引用网络图
  • Internet:互联网
  • Networks of Neurons:脑神经网络


3.png


下面我们人工组建构造的衍生知识网络:


4.png


从上面一些例子我们可以看出,Graph的概念存在于这个世界的每个地方,我们每个人都或多或少地在Graph扮演某个角色或者正在利用Graph带来的便利,目前随着图神经网络的崛起,Graph的潜在价值将会越来越大


2 Networks和Graphs


Networks通常认为是自然状态下的图:


  • 社交网络:全球71人组成了一个庞大社会群体
  • 信息交互与传递:电子设备,手机,电话以及电子金融交易
  • 生物医学:基因/蛋白质控制和管理我们身体的机能
  • 大脑:我们的想法来源于数十亿神经元的相互联系
    Graphs(作为一种信息表示或者知识表示)
  • 信息/知识:由人类加工后的各种信息或者知识
  • 软件:软件有各个组件构成图
  • 相似性网络:连接着相似的数据点
  • 相关性结构:分子,基因图谱,  3D结构图,粒子

很多时候network和graph界限比较模糊,我们暂且可以认为Networks是自然状态下的图,而Graph是经过加工或者复杂结构组成的。


3 基于Graphs的机器学习


5.png


当前主流的深度学习模型主要是为简单的序列数据或者格式化数据来设计的,如下图所示常见有图像数据、文本或者语音数据等。


6.png


但是基于网络或者图的机器学习是相对困难的:

  • 图是没有固定的大小,并且是一个复杂的拓扑结构
  • 节点之前没有固定的引用顺序
  • 图时常是动态更新的并且具有多模态异构的特征

    7.png

    所以我们如何开发或者探索出一种神经网络使Graph更加广泛地的应用?


Graphs正在成为深度学习新的研究领域


8.png


我们以GCN为例来解释深度学习在图学习的作用机制,由节点以及节点之前的边组成Graphs作为神经网络的输入,通过图卷积神经网络以及几激活函数得到图的表示,最后通过正则化比如dropout来约束模型,最后通过输出层得到相应任务的输出,比如可以用来预测节点的标签、新的关系以及子图发现。


9.png


(有监督)机器学习生存周期基本上是构建特征工程->基于模型做特征学习以及学习新的特征表示->最后基于特征进行预测,而现在基于Graph的机器学习不需要枯燥的特征工程了,而是输入到网络进行自动表示学习,然后用于下游任务。


10.png


通过Graph的表示学习,我们可以将网络映射到d维的嵌入空间,理想情况下,在这个d维的向量空间中网络中的相似节点相似性越大,差异距离越小。


11.png


下面举出来了几种常见的图表示学习方法:

  • 传统方法:Graphlets,Graph Kernels
  • Node Embedding:DeepWalk,Node2Vec
  • GNN:GCN,GraphSAGE,GAT,GNNS
  • 知识图谱以及嵌入:TransE,BetaE
  • 图生成网络
  • 生物医药、科学研究以及工业界的应用
    之后我们会慢慢介绍以上几种方法,大家在此节先导致了解下

    12.png
相关文章
|
8月前
|
人工智能 JSON 自然语言处理
如何用大模型评估大模型——PAI-Judge裁判员大语言模型的实现简介
阿里云人工智能平台 PAI 推出 PAI-Judge 裁判员大模型,为用户构建符合应用场景的多维度、细粒度的评测体系,支持单模型评测和双模型竞技两种模式,允许用户自定义参数,实现准确、灵活、高效的模型自动化评测,为模型迭代优化提供数据支撑。 相比通用大模型尤其在回答确定性/数学类问题、角色扮演、创意文体写作、翻译等场景下,PAI-Judge 系列模型表现优异,可以直接用于大模型的评估与质检。
|
9月前
|
机器学习/深度学习 数据采集 运维
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
391 19
|
9月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。
|
10月前
|
机器学习/深度学习 边缘计算 运维
机器学习在网络安全中的防护:智能化的安全屏障
机器学习在网络安全中的防护:智能化的安全屏障
451 15
|
11月前
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
1240 30
|
11月前
|
人工智能 搜索推荐 决策智能
不靠更复杂的策略,仅凭和大模型训练对齐,零样本零经验单LLM调用,成为网络任务智能体新SOTA
近期研究通过调整网络智能体的观察和动作空间,使其与大型语言模型(LLM)的能力对齐,显著提升了基于LLM的网络智能体性能。AgentOccam智能体在WebArena基准上超越了先前方法,成功率提升26.6个点(+161%)。该研究强调了与LLM训练目标一致的重要性,为网络任务自动化提供了新思路,但也指出其性能受限于LLM能力及任务复杂度。论文链接:https://arxiv.org/abs/2410.13825。
200 12
|
12月前
|
机器学习/深度学习 人工智能 数据挖掘
打破传统:机器学习与神经网络获2024年诺贝尔物理学奖引发的思考
诺贝尔物理学奖首次授予机器学习与神经网络领域,标志该技术在物理学研究中的重要地位。本文探讨了这一决定对物理学研究的深远影响,包括数据分析、理论物理突破及未来科研方向的启示,同时分析了其对学术跨界合作与全球科研产业的影响。
215 4
|
12月前
|
机器学习/深度学习 数据采集 算法
机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用
医疗诊断是医学的核心,其准确性和效率至关重要。本文探讨了机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用。文章还讨论了Python在构建机器学习模型中的作用,面临的挑战及应对策略,并展望了未来的发展趋势。
734 1
|
12月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
11月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
245 17

热门文章

最新文章