ML之UliR:利用非线性回归,梯度下降法(迭代十万次)求出学习参数θ,进而求得Cost函数最优值

简介: ML之UliR:利用非线性回归,梯度下降法(迭代十万次)求出学习参数θ,进而求得Cost函数最优值

输出结果


更新……



代码设计


import numpy as np  

import random      

def genData(numPoints,bias,variance):  

  x = np.zeros(shape=(numPoints,2))

  y = np.zeros(shape=(numPoints))  

  for i in range(0,numPoints):    

      x[i][0]=1                

      x[i][1]=i                  

      y[i]=(i+bias)+random.uniform(0,1)%variance

  return x,y

def gradientDescent(x,y,theta,alpha,m,numIterations):

  xTran = np.transpose(x)        

  for i in range(numIterations):

      hypothesis = np.dot(x,theta)

      loss = hypothesis-y      

      cost = np.sum(loss**2)/(2*m)

      gradient=np.dot(xTran,loss)/m

      theta = theta-alpha*gradient

      print ("Iteration %d | cost :%f" %(i,cost))

  return theta

x,y = genData(100, 25, 10)  #100行,

print ("x:")

print (x)

print ("y:")

print (y)

m,n = np.shape(x)

n_y = np.shape(y)  

 

print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))

 

numIterations = 100000    

alpha = 0.0005          

theta = np.ones(n)    

theta= gradientDescent(x, y, theta, alpha, m, numIterations)

print(theta)




相关文章
|
5月前
|
机器学习/深度学习 数据采集 监控
算法金 | DL 骚操作扫盲,神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
**神经网络与AI学习概览** - 探讨神经网络设计,包括MLP、RNN、CNN,激活函数如ReLU,以及隐藏层设计,强调网络结构与任务匹配。 - 参数初始化与优化涉及Xavier/He初始化,权重和偏置初始化,优化算法如SGD、Adam,针对不同场景选择。 - 学习率调整与正则化,如动态学习率、L1/L2正则化、早停法和Dropout,以改善训练和泛化。
47 0
算法金 | DL 骚操作扫盲,神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
|
5月前
|
算法 Python
`scipy.optimize`模块提供了许多用于优化问题的函数和算法。这些算法可以用于找到函数的最小值、最大值、零点等。
`scipy.optimize`模块提供了许多用于优化问题的函数和算法。这些算法可以用于找到函数的最小值、最大值、零点等。
|
7月前
|
数据可视化
R语言非参数模型厘定保险费率:局部回归、广义相加模型GAM、样条回归
R语言非参数模型厘定保险费率:局部回归、广义相加模型GAM、样条回归
|
机器学习/深度学习 算法
Lecture 6:值函数近似
Lecture 6:值函数近似
|
存储 算法 PyTorch
pytorch 给定概率分布的张量,如何利用这个概率进行重复\不重复采样?
在 PyTorch 中,可以使用 torch.distributions.Categorical 来基于给定的概率分布进行采样。
942 0
|
机器学习/深度学习 自动驾驶 算法
权重衰减== L2正则化?(一)
权重衰减== L2正则化?(一)
147 0
权重衰减== L2正则化?(一)
|
机器学习/深度学习 算法
权重衰减== L2正则化?(二)
权重衰减== L2正则化?(二)
174 0
权重衰减== L2正则化?(二)
|
机器学习/深度学习 算法
梯度下降算法主要通过哪两个控制因子实现最优参数选择?这两个因子分别起到什么作用?为什么计算损失函数最优值采用梯度下降算法而不是直接对损失函数求导数等于0时的最优解?如何判断梯度下降算法是否正确工作?
梯度下降算法主要通过哪两个控制因子实现最优参数选择?这两个因子分别起到什么作用?为什么计算损失函数最优值采用梯度下降算法而不是直接对损失函数求导数等于0时的最优解?如何判断梯度下降算法是否正确工作? 梯度下降算法有两个重要的控制因子:一个是步长,由学习率控制;一个是方向,由梯度指定。 1.在梯度下降算法中,步长决定了每一次迭代过程中,会往梯度下降的方向移动的距离。试想一下,如果步长很大,算法会在局部最优点附近来回跳动,不会收敛(如下图);但如果步长太短,算法每步的移动距离很短,就会导致算法收敛速度很慢。 2
254 0
|
数据可视化 算法
Paper:《Greedy Function Approximation: A Gradient Boosting Machine贪心函数逼近:梯度提升机器模型》翻译与解读—PDP来源
Paper:《Greedy Function Approximation: A Gradient Boosting Machine贪心函数逼近:梯度提升机器模型》翻译与解读—PDP来源
|
运维 监控
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理
平方预测误差(Squared prediction error,SPE)和霍特林统计量(Hotelling’s T2)原理