ML之UliR:利用非线性回归,梯度下降法(迭代十万次)求出学习参数θ,进而求得Cost函数最优值

简介: ML之UliR:利用非线性回归,梯度下降法(迭代十万次)求出学习参数θ,进而求得Cost函数最优值

输出结果


更新……



代码设计


import numpy as np  

import random      

def genData(numPoints,bias,variance):  

  x = np.zeros(shape=(numPoints,2))

  y = np.zeros(shape=(numPoints))  

  for i in range(0,numPoints):    

      x[i][0]=1                

      x[i][1]=i                  

      y[i]=(i+bias)+random.uniform(0,1)%variance

  return x,y

def gradientDescent(x,y,theta,alpha,m,numIterations):

  xTran = np.transpose(x)        

  for i in range(numIterations):

      hypothesis = np.dot(x,theta)

      loss = hypothesis-y      

      cost = np.sum(loss**2)/(2*m)

      gradient=np.dot(xTran,loss)/m

      theta = theta-alpha*gradient

      print ("Iteration %d | cost :%f" %(i,cost))

  return theta

x,y = genData(100, 25, 10)  #100行,

print ("x:")

print (x)

print ("y:")

print (y)

m,n = np.shape(x)

n_y = np.shape(y)  

 

print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))

 

numIterations = 100000    

alpha = 0.0005          

theta = np.ones(n)    

theta= gradientDescent(x, y, theta, alpha, m, numIterations)

print(theta)




相关文章
|
3月前
|
算法 Python
`scipy.optimize`模块提供了许多用于优化问题的函数和算法。这些算法可以用于找到函数的最小值、最大值、零点等。
`scipy.optimize`模块提供了许多用于优化问题的函数和算法。这些算法可以用于找到函数的最小值、最大值、零点等。
|
机器学习/深度学习 算法
Lecture 6:值函数近似
Lecture 6:值函数近似
|
存储 算法 PyTorch
pytorch 给定概率分布的张量,如何利用这个概率进行重复\不重复采样?
在 PyTorch 中,可以使用 torch.distributions.Categorical 来基于给定的概率分布进行采样。
863 0
|
索引
在训练模型每次迭代中,打印参数的梯度
要打印出每个迭代中的所有样本梯度,您需要在代码中进行相应的更改。以下是一个示例过程,可以帮助您实现此目标: 1. 在训练循环中,使用 enumerate() 函数迭代数据集中的每个批次,并获取每个批次的索引和数据。
767 0
|
索引
每次迭代,打印当前小批量的每个样本的梯度
对于每个迭代,打印每个样本的梯度是可行的,但是通常不是一个好的做法,因为随着训练样本数量的增加,打印每个样本的梯度将变得非常耗时。 如果您仍然想打印每个样本的梯度,可以按照以下步骤进行: 1. 在训练循环中,使用 enumerate() 函数迭代数据集中的每个批次,并获取每个批次的索引和数据。 2. 在每个批次中,将数据传递到模型中,并计算梯度。然后,您可以使用 grad 属性获取每个样本的梯度,并将其打印出来。 3. 将所有批次的梯度合并为一个大梯度,并使用此梯度更新模型的参数。
287 0
|
PyTorch 算法框架/工具
已经定义好了一个张量,如何增加代码要求计算梯度?
在 PyTorch 中,可以使用 requires_grad_() 方法来动态设置张量的 requires_grad 属性为 True,从而要求计算梯度。具体来说,对于已经创建的张量 x,可以通过调用 x.requires_grad_() 来将其设置为需要计算梯度的张量。
327 0
|
机器学习/深度学习 自动驾驶 算法
权重衰减== L2正则化?(一)
权重衰减== L2正则化?(一)
134 0
权重衰减== L2正则化?(一)
|
机器学习/深度学习 算法
权重衰减== L2正则化?(二)
权重衰减== L2正则化?(二)
161 0
权重衰减== L2正则化?(二)
|
机器学习/深度学习 算法
梯度下降算法主要通过哪两个控制因子实现最优参数选择?这两个因子分别起到什么作用?为什么计算损失函数最优值采用梯度下降算法而不是直接对损失函数求导数等于0时的最优解?如何判断梯度下降算法是否正确工作?
梯度下降算法主要通过哪两个控制因子实现最优参数选择?这两个因子分别起到什么作用?为什么计算损失函数最优值采用梯度下降算法而不是直接对损失函数求导数等于0时的最优解?如何判断梯度下降算法是否正确工作? 梯度下降算法有两个重要的控制因子:一个是步长,由学习率控制;一个是方向,由梯度指定。 1.在梯度下降算法中,步长决定了每一次迭代过程中,会往梯度下降的方向移动的距离。试想一下,如果步长很大,算法会在局部最优点附近来回跳动,不会收敛(如下图);但如果步长太短,算法每步的移动距离很短,就会导致算法收敛速度很慢。 2
229 0
|
运维 监控
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理