数据结构分析_Inception_GNN_GCN

简介: 数据结构分析_Inception_GNN_GCN

1.数据结构分析(欧几里德和非欧几里德数据)

  • 欧几里德数据

94.png

如上图所示,每个节点之间都是排列整齐的,所以很容易的可以定义出距离来,如下图所示:

95.png

非欧几里德数据

96.png

排列不整齐,比较的随意。具体体现在:对于数据中的某个点,难以定义出其邻居节点出来,或者是不同节点的邻居节点的数量是不同的。

https://blog.csdn.net/imsuhxz/article/details/91361977


2.inception V1 V2 V3 V4

inception V1

image.png

卷积了几步之后就开始出现并行的过程,换成几个 1 * 1, 3 * 3, 5 * 5的卷积并列。然后再把分别卷积的结果作为层数维度上的合并。

比方说这一层本来是一个2828大小的卷积核,一共输出224层,换成inception以后就是64层1 * 1, 128层3 * 3, 32层5 * 5。这样算到最后依然是224层,但是参数个数明显减少了,从2828*224 = 9834496 变成了1 * 1 * 64+3 * 3 * 128+5 * 5 *32 = 2089,减小了几个数量级。

再上一张形象的图:


98.png

Inception V2

inception V2 其实在网络上没有什么改动,只是在输入的时候增加了batch_normal,所以他的论文名字也是叫batch_normal,加了这个以后训练起来收敛更快,学习起来自然更高效,可以减少dropout的使用。

99.png


BN 理解

神经网络中传递的张量数据,其维度通常记为[N, H, W, C],其中N是batch_size,H、W是行、列,C是通道数。那么上式中BN的输入集合 [公式] 就是下图中蓝色的部分。

100.png


101.png

Inception V3

Inception V3把googlenet里一些7 * 7的卷积变成了1 * 7和7 * 1的两层串联,3 * 3 的也一样,变成了1 * 3和3 * 1,这样加速了计算,还增加了网络的非线性,减小过拟合的概率。另外,网络的输入从224改成了299.


Inception V4

inception v4实际上是把原来的inception加上了resnet的方法,从一个节点能够跳过一些节点直接连入之后的一些节点,并且残差也跟着过去一个。

另外就是V4把一个先1 * 1再3 * 3那步换成了先3 * 3再1 * 1.

论文说引入resnet不是用来提高深度,进而提高准确度的,只是用来提高速度的


3.GNN简单理解

  • 聚合


102.png


更新

103.png


传递

104.png


4.GCN简单理解

对于上面聚合没有考虑到自己的信息以及对于GNN中聚合里的B、C、D点的权重如何确定?

  • 聚合(包含自己)
  • 105.png

平均法(由特例,如:收入不均衡)

106.png


解决(公式中D是度的意思,来限制权重)

107.png



目录
相关文章
|
4月前
|
机器学习/深度学习 算法 Windows
数据结构中的几种时间复杂度分析方式
数据结构中的几种时间复杂度分析方式
59 0
|
3月前
|
存储 测试技术
【数据结构】手把手分析:链式二叉树的实现
【数据结构】手把手分析:链式二叉树的实现
27 5
|
4月前
<数据结构>五道LeetCode链表题分析.环形链表,反转链表,合并链表,找中间节点.
<数据结构>五道LeetCode链表题分析.环形链表,反转链表,合并链表,找中间节点
43 1
|
3月前
|
算法
数据结构和算法——散列函数的构造方法(直接定址法、除留余数法、数字分析法、折叠法、平方取中法、ASCII码加和法、前三字符移位法)
数据结构和算法——散列函数的构造方法(直接定址法、除留余数法、数字分析法、折叠法、平方取中法、ASCII码加和法、前三字符移位法)
33 0
|
3月前
|
算法 搜索推荐
数据结构和算法——表排序(算法概述、物理排序、复杂度分析,包含详细清晰图示过程)
数据结构和算法——表排序(算法概述、物理排序、复杂度分析,包含详细清晰图示过程)
26 0
|
4月前
|
算法 搜索推荐 Java
Java数据结构 -- 常见算法分析(查找算法、排序算法)精解详解!!!
Java数据结构 -- 常见算法分析(查找算法、排序算法)精解详解!!!
42 0
|
4月前
|
存储 索引
操作数栈的字节码指令执行分析
操作数栈的字节码指令执行分析
|
4月前
|
存储 算法 Java
22个常用数据结构实现与原理分析
前两天V哥跟一个老学员吃饭,聊起面试大厂的事,说为啥大厂面试第一看基本条件,第二就是考数据结构算法,其他高阶的内容会比较少,最近V哥也在跟大厂对接这一块业务,了解得多一些,这是因为考察基本功能力被放到了重要位置,大厂认为硬性条件,比如学历过关,基本功够扎实,那对于实际工作用的上层技能,内部培养就好,也就是相比你掌握了多少多少牛逼的高阶技术,他们更在乎你的基本功,所以,进大厂,基本功必须要搞稳,否则白扯,今天 V 哥把总结好的22个常用的数据结构实现原理,和示例分析分享给大家,希望对你有帮助,觉得内容有收获,请帮忙转发给更多需求的朋友,共同进步。
|
4月前
|
存储 消息中间件 算法
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮(TimingWheel)实现延时队列的原理指南
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮(TimingWheel)实现延时队列的原理指南
118 1
|
4月前
|
搜索推荐 算法 Shell
【数据结构】手撕排序(排序的概念及意义、直接插入和希尔排序的实现及分析)
【数据结构】手撕排序(排序的概念及意义、直接插入和希尔排序的实现及分析)