图文详解神秘的梯度下降算法原理(附Python代码)

简介: 图文详解神秘的梯度下降算法原理(附Python代码)

目录

1 引例

给定如图所示的某个函数,如何通过计算机算法编程求 f ( x ) m i n f(x)_{min} f(x)

min



image.png

2 数值解法

传统方法是数值解法,如图所示


image.png

按照以下步骤迭代循环直至最优:


① 任意给定一个初值 x 0 x_0 x

0



② 随机生成增量方向,结合步长生成 Δ x \varDelta x Δx;


③ 计算比较 f ( x 0 ) f\left( x_0 \right) f(x

0


)与 f ( x 0 + Δ x ) f\left( x_0+\varDelta x \right) f(x

0


+Δx)的大小,若 f ( x 0 + Δ x ) < f ( x 0 ) f\left( x_0+\varDelta x \right) <f\left( x_0 \right) f(x

0


+Δx)<f(x

0


)则更新位置,否则重新生成 Δ x \varDelta x Δx;


④ 重复②③直至收敛到最优 f ( x ) m i n f(x)_{min} f(x)

min



数值解法最大的优点是编程简明,但缺陷也很明显:


① 初值的设定对结果收敛快慢影响很大;


② 增量方向随机生成,效率较低;


③ 容易陷入局部最优解;


④ 无法处理“高原”类型函数。


所谓陷入局部最优解是指当迭代进入到某个极小值或其邻域时,由于步长选择不恰当,无论正方向还是负方向,学习效果都不如当前,导致无法向全局最优迭代。就本问题而言如图所示,当迭代陷入 x = x j x=x_j x=x

j


时,由于学习步长 s t e p step step的限制,无法使 f ( x j ± S t e p ) < f ( x j ) f\left( x_j\pm Step \right) <f(x_j) f(x

j


±Step)<f(x

j


),因此迭代就被锁死在了图中的红色区段。可以看出 x = x j x=x_j x=x

j


并非期望的全局最优。


image.png

若出现下图所示的“高原”函数,也可能使迭代得不到更新。


image.png

3 梯度下降算法

梯度下降算法可视为数值解法的一种改进,阐述如下:


记第 k k k轮迭代后,自变量更新为 x = x k x=x_k x=x

k


,令目标函数 f ( x ) f(x) f(x)在 x = x k x=x_k x=x

k


泰勒展开:


f ( x ) = f ( x k ) + f ′ ( x k ) ( x − x k ) + o ( x ) f\left( x \right) =f\left( x_k \right) +f'\left( x_k \right) \left( x-x_k \right) +o(x)

f(x)=f(x

k


)+f

(x

k


)(x−x

k


)+o(x)


考察 f ( x ) m i n f(x)_{min} f(x)

min


,则期望 f ( x k + 1 ) < f ( x k ) f\left( x_{k+1} \right) <f\left( x_k \right) f(x

k+1


)<f(x

k


),从而:


f ( x k + 1 ) − f ( x k ) = f ′ ( x k ) ( x k + 1 − x k ) < 0 f\left( x_{k+1} \right) -f\left( x_k \right) =f'\left( x_k \right) \left( x_{k+1}-x_k \right) <0

f(x

k+1


)−f(x

k


)=f

(x

k


)(x

k+1


−x

k


)<0


若 f ′ ( x k ) > 0 f'\left( x_k \right) >0 f

(x

k


)>0则 x k + 1 < x k x_{k+1}<x_k x

k+1


<x

k


,即迭代方向为负;反之为正。不妨设 x k + 1 − x k = − f ′ ( x k ) x_{k+1}-x_k=-f'(x_k) x

k+1


−x

k


=−f

(x

k


),从而保证 f ( x k + 1 ) − f ( x k ) < 0 f\left( x_{k+1} \right) -f\left( x_k \right) <0 f(x

k+1


)−f(x

k


)<0。必须指出,泰勒公式成立的条件是 x → x 0 x\rightarrow x_0 x→x

0


,故 ∣ f ′ ( x k ) ∣ |f'\left( x_k \right) | ∣f

(x

k


)∣不能太大,否则 x k + 1 x_{k+1} x

k+1


与 x k x_{k} x

k


距离太远产生余项误差。因此引入学习率 γ ∈ ( 0 , 1 ) \gamma \in \left( 0, 1 \right) γ∈(0,1)来减小偏移度,即 x k + 1 − x k = − γ f ′ ( x k ) x_{k+1}-x_k=-\gamma f'(x_k) x

k+1


−x

k


=−γf

(x

k


)


在工程上,学习率 γ \gamma γ要结合实际应用合理选择, γ \gamma γ过大会使迭代在极小值两侧振荡,算法无法收敛; γ \gamma γ过小会使学习效率下降,算法收敛慢。


对于向量 ,将上述迭代公式推广为


x k + 1 = x k − γ ∇ x k {\boldsymbol{x}_{\boldsymbol{k}+1}=\boldsymbol{x}_{\boldsymbol{k}}-\gamma \nabla _{\boldsymbol{x}_{\boldsymbol{k}}}}

x

k+1


=x

k


−γ∇

x

k




其中 ∇ x = ( ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 , ⋯ ⋯   , ∂ f ( x ) ∂ x n ) T \nabla _{\boldsymbol{x}}=\left( \frac{\partial f(\boldsymbol{x})}{\partial x_1},\frac{\partial f(\boldsymbol{x})}{\partial x_2},\cdots \cdots ,\frac{\partial f(\boldsymbol{x})}{\partial x_n} \right) ^T ∇

x


=(

∂x

1


∂f(x)


,

∂x

2


∂f(x)


,⋯⋯,

∂x

n


∂f(x)


)

T

为多元函数的梯度,故此迭代算法也称为梯度下降算法


image.png

梯度下降算法通过函数梯度确定了每一次迭代的方向和步长,提高了算法效率。但从原理上可以知道,此算法并不能解决数值解法中初值设定、局部最优陷落和部分函数锁死的问题。

4 代码实战:Logistic回归

import pandas as pd
import numpy as np
import os
import matplotlib.pyplot as plt
import matplotlib as mpl
from Logit import Logit
'''
* @breif: 从CSV中加载指定数据
* @param[in]: file -> 文件名
* @param[in]: colName -> 要加载的列名
* @param[in]: mode -> 加载模式, set: 列名与该列数据组成的字典, df: df类型
* @retval: mode模式下的返回值
'''
def loadCsvData(file, colName, mode='df'):
    assert mode in ('set', 'df')
    df = pd.read_csv(file, encoding='utf-8-sig', usecols=colName)
    if mode == 'df':
        return df
    if mode == 'set':
        res = {}
        for col in colName:
            res[col] = df[col].values
        return res
if __name__ == '__main__':
    # ============================
    # 读取CSV数据
    # ============================
    csvPath = os.path.abspath(os.path.join(__file__, "../../data/dataset3.0alpha.csv"))
    dataX = loadCsvData(csvPath, ["含糖率", "密度"], 'df')
    dataY = loadCsvData(csvPath, ["好瓜"], 'df')
    label = np.array([
        1 if i == "是" else 0
        for i in list(map(lambda s: s.strip(), list(dataY['好瓜'])))
    ])
    # ============================
    # 绘制样本点
    # ============================
    line_x = np.array([np.min(dataX['密度']), np.max(dataX['密度'])])
    mpl.rcParams['font.sans-serif'] = [u'SimHei']
    plt.title('对数几率回归模拟\nLogistic Regression Simulation')
    plt.xlabel('density')
    plt.ylabel('sugarRate')
    plt.scatter(dataX['密度'][label==0],
                dataX['含糖率'][label==0],
                marker='^',
                color='k',
                s=100,
                label='坏瓜')
    plt.scatter(dataX['密度'][label==1],
                dataX['含糖率'][label==1],
                marker='^',
                color='r',
                s=100,
                label='好瓜')
    # ============================
    # 实例化对数几率回归模型
    # ============================
    logit = Logit(dataX, label)
    # 采用梯度下降法
    logit.logitRegression(logit.gradientDescent)
    line_y = -logit.w[0, 0] / logit.w[1, 0] * line_x - logit.w[2, 0] / logit.w[1, 0]
    plt.plot(line_x, line_y, 'b-', label="梯度下降法")
    # 绘图
    plt.legend(loc='upper left')
    plt.show()

image.png

🔥 更多精彩专栏

目录
打赏
0
0
0
0
25
分享
相关文章
|
17天前
|
VIN车辆识别码查询车五项 API 实践指南:让每一俩车有迹可循(Python代码示例)
VIN(车辆识别代码)是全球唯一的17位汽车标识码,可快速获取车架号、发动机号、品牌型号等核心信息。在二手车交易、保险理赔、维修保养等场景中,准确解析VIN有助于提升效率与风控能力。本文介绍VIN码结构、适用场景,并提供Python调用示例及优化建议,助力企业实现车辆信息自动化核验。
68 1
基于EM期望最大化算法的GMM参数估计与三维数据分类系统python源码
本内容展示了基于EM算法的高斯混合模型(GMM)聚类实现,包含完整Python代码、运行效果图及理论解析。程序使用三维数据进行演示,涵盖误差计算、模型参数更新、结果可视化等关键步骤,并附有详细注释与操作视频,适合学习EM算法与GMM模型的原理及应用。
企业上网监控系统中红黑树数据结构的 Python 算法实现与应用研究
企业上网监控系统需高效处理海量数据,传统数据结构存在性能瓶颈。红黑树通过自平衡机制,确保查找、插入、删除操作的时间复杂度稳定在 O(log n),适用于网络记录存储、设备信息维护及安全事件排序等场景。本文分析红黑树的理论基础、应用场景及 Python 实现,并探讨其在企业监控系统中的实践价值,提升系统性能与稳定性。
17 1
Python深浅拷贝全解析:从原理到实战的避坑指南
在Python开发中,深浅拷贝是处理对象复制的关键概念。直接赋值仅复制引用,修改副本会影响原始数据。浅拷贝(如切片、copy方法)创建新容器但共享嵌套对象,适用于单层结构或需共享子对象的场景;而深拷贝(copy.deepcopy)递归复制所有层级,确保完全独立,适合嵌套结构或多线程环境。本文详解二者原理、实现方式及性能考量,帮助开发者根据实际需求选择合适的拷贝策略,避免数据污染与性能浪费。
47 1
|
12天前
|
基于 Python 跳表算法的局域网网络监控软件动态数据索引优化策略研究
局域网网络监控软件需高效处理终端行为数据,跳表作为一种基于概率平衡的动态数据结构,具备高效的插入、删除与查询性能(平均时间复杂度为O(log n)),适用于高频数据写入和随机查询场景。本文深入解析跳表原理,探讨其在局域网监控中的适配性,并提供基于Python的完整实现方案,优化终端会话管理,提升系统响应性能。
34 4
Python爬虫开发:Cookie池与定期清除的代码实现
Python爬虫开发:Cookie池与定期清除的代码实现
Python时间序列平滑技术完全指南:6种主流方法原理与实战应用
时间序列数据分析中,噪声干扰普遍存在,影响趋势提取。本文系统解析六种常用平滑技术——移动平均、EMA、Savitzky-Golay滤波器、LOESS回归、高斯滤波与卡尔曼滤波,从原理、参数配置、适用场景及优缺点多角度对比,并引入RPR指标量化平滑效果,助力方法选择与优化。
76 0
阿里旺旺私信群发工具,淘宝商家私信群发软件,python代码分享
该代码实现了完整的淘宝旺旺群发流程,包含商品采集、消息模板定制和自动化发送功能
|
1月前
|
Python编程基石:整型、浮点、字符串与布尔值完全解读
本文介绍了Python中的四种基本数据类型:整型(int)、浮点型(float)、字符串(str)和布尔型(bool)。整型表示无大小限制的整数,支持各类运算;浮点型遵循IEEE 754标准,需注意精度问题;字符串是不可变序列,支持多种操作与方法;布尔型仅有True和False两个值,可与其他类型转换。掌握这些类型及其转换规则是Python编程的基础。
161 33
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
36 1

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问