程序员的数学【最优化】(二)

简介: 本文其实值属于:程序员的数学【AIoT阶段二】 的一部分内容,本篇把这部分内容单独截取出来,方便大家的观看,本文介绍 最优化

四、牛顿法

4.1 牛顿法原理

🚩牛顿法的原理是使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。

image.png

迭代过程如下:

44.png

4.2 牛顿法代码演示

def f(x):
    return (x - 3) ** 3        # 定义函数
def fd(x):
    return 3 * ((x - 3) ** 2)    # 定义一阶导数
y = [0] # 初始值
def newtonMethod(n, assum):
    count = n
    x = assum
    next_x = 0
    A = f(x) # 函数值
    B = fd(x) # 导数值
    print('A = %0.4f' % (A) + ', B = %0.4f' % (B) + ', time = %d' % (count))
    if f(x) == 0.0: # 是不是f(x) = 0的解
        return count, x
    else: # 不是方程 = 0的解,迭代更新
        next_x = x - A / B
        y.append(next_x)
        print('next_x = %0.4f' % (next_x))
    if abs(A - f(next_x)) < 1e-6: # 满足精确值,退出,什么都没做,只是打印
        # 设置迭代跳出条件,同时输出满足f(x) = 0的x值
        print('方程的解为: f(x) = 0, x = %0.4f'% (next_x))  
    else: # 不满足精确度,再次调用这个方法,递归
        return newtonMethod(n + 1, next_x)
# 设置从0开始计数,x0 = 4
newtonMethod(0, 0)
x = np.linspace(0, 6, 100)
plt.plot(x, f(x)) # 原图
_ = plt.scatter(y, f(np.array(y)), color = 'red') # 更新过程点

45.png

4.3 求解最优化问题

🚩牛顿法最优化公式如下:

image.png

其中:

image.png

image.png

image.png

image.png

可得最终的优化公式为:

image.png

复杂问题简单化,多元函数降级为一元函数,那么最优化牛顿法泰勒二阶展开的更新公式为:

image.png

梯度下降法只用到了一阶导数的信息,牛顿法既用到了一阶导数的信息,也用到了二阶导数的信息。梯度下降法是用线性函数来代替目标函数,牛顿法是用二次函数来代替目标函数,所以说牛顿法的收敛速度是更快的。

4.4 求解最优化代码演示

4.4.1 使用牛顿法求最优化(11步得到答案,2.0062)

import numpy as np
import matplotlib.pyplot as plt
# 构建方程
f = lambda x : (x - 2) ** 4 + 10
# 导函数
g1 = lambda x : 4 * (x - 2) ** 3
g2 = lambda x : 12 * (x - 2) ** 2
# 创建模拟数据并可视化
x = np.linspace(1, 3, 100)
y = f(x)
plt.plot(x, y)
y = [2.8]
def newtonMethod(n, assum):
    count = n
    x = assum
    next_x = 0
    A = g1(x)
    B = g2(x)
    print('A = %0.4f' % (A) + ',B = %0.4f' % (B) + ',次数 = %d' % (count))
    if f(x) == 0.0:
        return count, x
    else:
        next_x = x - A / B
        y.append(next_x)
        print('next_x = %0.4f' % (next_x),)
    if abs(f(x) - f(next_x)) < 1e-8:
        # 设置迭代跳出条件,同时输出满足f(x) = 0的x值
        print('方程的解为: f(x) = 0, x = %0.4f'% (next_x))  
    else:
        return newtonMethod(n + 1, next_x)
# 设置从0开始计数,x0 = 4
newtonMethod(0, 2.8)
_ = plt.scatter(y,f(np.array(y)), color = 'red')

46.png

4.4.2 使用梯度下降求最优解(207步得到答案,2.04349)

import numpy as np
import matplotlib.pyplot as plt
# 构建方程
f = lambda x : (x - 2) ** 4 + 10
# 导函数
g1 = lambda x : 4 * (x - 2) ** 3
eta = 0.3 # 学习率
# 随机(瞎蒙),初始值
x = 2.8
# 多次while 循环,每次梯度下降,更新,记录一下上一次的值
# 比较精确度
# 一开始故意设置差异,目的为了有区分,不能一上来就停止
last_x = x + 0.1
# 精确度,人为设定
precision = 1e-8
print('-----------------随机x是:', x)
# 每次梯度下降,求解出来的x值,一开始随机给的
x_ = [x] # Python中列表
count = 0
while True:
    if np.abs(f(x) - f(last_x)) < precision: # 更新时,变化甚微,满足精确度,终止
        break
    # 更新,梯度下降
    # x是当前数值,赋值给上一个值
    last_x = x
    count += 1
    x = x - eta * g1(x) # 梯度下降公式
    x_.append(x)
    print('+++++++++++++++更新之后的x是:%0.5f' % (x))
print('+++++++++++++++梯度下降次数:', count)
# x1是NumPy数组
x1 = np.linspace(0, 11.5, 100)
y1 = f(x1)
plt.figure(figsize = (9, 6))
plt.plot(x1, y1)
# 散点图
x_ = np.array(x_)
_ = plt.scatter(x_, f(x_), color = 'red', s = 30)

47.png

4.5 拟牛顿法

🚩如上节所说,牛顿法虽然收敛速度快,但是需要计算海塞矩阵的逆矩阵H-1,而且有时目标函数的海塞矩阵无法保持正定(多元函数微分学),从而使得牛顿法失效。为了克服这两个问题,人们提出了拟牛顿法。这个方法的基本思想是:不用二阶偏导数而构造出可以近似海塞矩阵(或海塞矩阵的逆)的正定对称阵。不同的构造方法就产生了不同的拟牛顿法。


下面我们先推导一下拟牛顿条件,它给“对海塞矩阵(或海塞矩阵的逆)做近似”提供了理论指导,指出了用来近似的矩阵应该满足的条件。


对 ᐁf(x) 做二阶泰勒展开我们得到了以下近似:

image.png

令:

image.png

所以:

image.png

以上即为拟牛顿条件!

image.png




目录
相关文章
|
云安全 弹性计算 运维
BYOIP灵魂十问 | 详解阿里云自带公网IP上云
2020年6月11日,在阿里云“企业出海全球化网络新品发布会”上,阿里云洛神云网络宣布弹性公网IP产品全面升级,推出自带公网IP上云解决方案。本文通过十问十答方式详细解读。
BYOIP灵魂十问 | 详解阿里云自带公网IP上云
|
8月前
|
人工智能 API 开发者
保姆级步骤流程:OpenClaw阿里云/本地部署+Coding Plan API配置+小红书自动发图文Skill及常见问题解答
2026年,小红书已成为内容创作、品牌推广、私域引流的核心阵地,无论是自媒体博主、中小企业,还是个人创业者,都需要持续输出高质量图文笔记,才能抢占流量红利。但传统小红书运营模式痛点突出:选题耗时久、文案撰写反复修改、封面设计依赖专业工具、发布流程繁琐,且需手动维护发布频率,耗费大量时间与精力,成为很多人入局小红书的“绊脚石”。
1477 1
|
7月前
|
人工智能 自然语言处理 安全
【详细版教程】OpenClaw 2.6.2 Windows10 部署完整教程
OpenClaw(小龙虾)是专为Windows10优化的本地AI智能体框架,支持一键部署、零代码配置,可跨软件自动执行文件整理、邮件发送、浏览器操作等任务。数据完全本地运行,保障隐私安全,10分钟即可搭建属于你的AI数字员工。
|
机器学习/深度学习 运维 算法
基于粒子群优化算法的配电网光伏储能双层优化配置模型[IEEE33节点](选址定容)(Matlab代码实现)
基于粒子群优化算法的配电网光伏储能双层优化配置模型[IEEE33节点](选址定容)(Matlab代码实现)
1118 0
|
存储 并行计算 算法
【前推回代法】含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】(Matlab代码实现)
【前推回代法】含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】(Matlab代码实现)
536 0
|
机器学习/深度学习 人工智能 自然语言处理
拔俗AI评审管理系统:用技术破解“评审难”
AI评审系统破解效率低、标准不一、信息遗漏难题,通过多格式解析、智能打分、数据校验与人机协同,实现评审标准化、自动化,提升公平性与效率。
703 0
|
安全 IDE 开发工具
HarmonyOS实战:解决模拟器启动失败问题
本文介绍了在Windows系统上安装HarmonyOS开发环境时遇到的模拟器启动失败问题及解决方案。为应对鸿蒙可能脱离安卓阵营,开发者需学习HarmonyOS。华为提供的IDE与Android Studio相似,降低了学习成本。但创建鸿蒙模拟器时可能出现报错,官方方案无效时,可通过打开Windows安全中心的“内核隔离”并开启“内存完整性”解决。文章还鼓励初学者收藏内容,并在学习中交流问题。
1088 1
HarmonyOS实战:解决模拟器启动失败问题
|
缓存 安全 测试技术
|
Ubuntu
Ubuntu下载ISO镜像的方法
步骤 1:访问Ubuntu官方网站 打开浏览器,输入Ubuntu的官方网址:https://cn.ubuntu.com/download/desktop 接着,点击“Ubuntu Desktop”或你需要的Ubuntu版本。
16401 6
|
存储 人工智能 安全
智能语音助手的隐私保护技术探讨####
【10月更文挑战第19天】 本文聚焦于智能语音助手的隐私保护技术,通过分析当前技术现状、面临的挑战及未来发展趋势,为开发者和用户提供了一份深入浅出的技术指南。文章指出,随着人工智能技术的飞速发展,智能语音助手已成为日常生活的重要组成部分,但其背后的隐私问题不容忽视。通过技术创新和合理的策略部署,我们有望在享受便捷服务的同时,有效保护个人隐私。 ####