将迭代次数问题几何化的一个计算例子

简介: 神经网络调参,设置迭代次数

( A, B )---3302---( 1, 0 )( 0, 1 )

做一个二分类网络让输入只有3个节点,每个训练集里有两张图片,让B的训练集全为0,排列组合A,观察迭代次数平均值的变化。共完成了64组,由于对称性只有12组不同的迭代次数。
1.jpg

如这6组,由于对称性他们的迭代次数算作相同。

其余各组为
2.jpg
3.jpg

假设0*0决定了空间的形状,而A是在这个空间的分布,如果有一个几何体可以体现集合A-B的所有对称性,那这个几何体就应该具有与集合A-B相同的性质。

将训练集A中的6个点对应为内接于球的等边三棱柱的上下3条边。通过计算质心的办法去拟合迭代次数
4.jpg

设边的质量为1,长度为1。6条边的质心为,

5.jpg

第一组让A中的1对应为ab边,这个球的圆心在(0.5,-0.2887,0.5),半径为0.7638.边ab在重力的作用下只有一个稳定态,位于最下端,此时ab边的质心高为=半径-(ab的质心到圆心的距离)=0.1865.
6.jpg

第二组的两个点因为在同一行,对应为边fa,fb。把边fa和fb看作一个整体,在重力的作用下也只有一个稳定态。用同样的办法计算两条边的质心的高得到fa,fb质心的高度为0.2434.

用同样的方法计算所有其他各组边的组合,在重力作用下稳定态的质心高,得到
7.jpg
8.jpg

这12组数据中有3组数值不对25-00,36-00,42-00,如果先不考虑这3组则得到,比77-00大的部分迭代次数与质心的高成反比, 比77-00小的迭代次数与质心的高成正比。

目录
相关文章
|
10月前
|
异步计算斐波那契数列大数值项(千万数级)的值
异步计算斐波那契数列大数值项(千万数级)的值
58 0
|
9月前
|
循环迭代判断\丢番图
循环迭代判断\丢番图
44 2
|
10月前
2569. 更新数组后处理求和查询(模板 + 普通线段树熟练掌握)
2569. 更新数组后处理求和查询(模板 + 普通线段树熟练掌握)
求解亲密数代码剖析
求解亲密数代码剖析
练习>>代码实现5*5数组的交叉线上数字之和(中间的那个数只需要计算一次)
练习>>代码实现5*5数组的交叉线上数字之和(中间的那个数只需要计算一次)
65 0
HIMA 984862702 计算在期望位置分配极点的反馈矩阵
HIMA 984862702 计算在期望位置分配极点的反馈矩阵
HIMA 984862702 计算在期望位置分配极点的反馈矩阵
已经定义好了一个张量,如何增加代码要求计算梯度?
在 PyTorch 中,可以使用 requires_grad_() 方法来动态设置张量的 requires_grad 属性为 True,从而要求计算梯度。具体来说,对于已经创建的张量 x,可以通过调用 x.requires_grad_() 来将其设置为需要计算梯度的张量。
419 0
使用程序计算近似Π值
现在大多数语言,只需要调用一下Math.PI就可以知道Π值了。但是你有没有想过这个PI是怎么来的,是直接存储吗?还是计算来的。虽然不知道具体是怎么实现的,但是我们可以使用一些简单的数学知识,来计算出近似的Π值。
224 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等