【Deep Learning 4】线性回归与逻辑回归

简介: 🍊本文详细介绍了线性回归和逻辑回归是什么,并对二者进行了对比,此外详细介绍了sigmoid函数,最后使用Pytorch来实战模拟二者🍊实验一使用Pytorch实现线性回归🍊实验二使用Pytorch实现逻辑回归。

image.gif编辑

🍊本文详细介绍了线性回归和逻辑回归是什么,并对二者进行了对比,此外详细介绍了sigmoid函数,最后使用Pytorch来实战模拟二者

🍊实验一使用Pytorch实现线性回归

🍊实验二使用Pytorch实现逻辑回归

一、Introduction

在初学机器学习的时候,我们总会听到线性回归模型和逻辑回归模型,那么它们究竟是什么?有什么联系与区别呢?

首先他们都是一条线,目的是让我们预测的对象尽可能多的穿过这条线

线性回归模型是真的回归模型,但是逻辑回归模型虽然名字上带着回归,实际上是个分类模型,看看看下图就知道了。因为是完全属于不同类型的模型,因此他们的损失函数也是不一样的

image.gif编辑

二、Principle

2.1 线性回归模型

image.gif编辑

损失函数

image.gif编辑

2.2 逻辑回归模型

这里的σ是sigmoid函数, 分类模型是需要将最后的预测结果仿射到0-1区间中,且所有的类的预测值之和为1,因此sigmoid函数最主要的作用就是将结果尽可能的仿射到0-1区间中

image.gif编辑

损失函数

image.gif编辑

2.3 sigmoid函数

sigmoid型函数是指一类S型曲线函数,两端饱和。其中最出名的是logistic函数,因此很多地方直接将sigmoid函数默认为logistic函数。

Logistic函数公式

Logistic函数的特点是区间范围在0~1之间,而且当x等于0时,其函数值为0.5,主要用作二分类。

image.gif编辑

Tanh函数公式

Tanh函数的特点是区间范围在-1~1之间,而且当x等于0时,其函数值为0

image.gif编辑

image.gif编辑

Hard-Logistic函数和Hard-Tanh函数

image.gif编辑

三、Experiment

伪代码

1 Prepare dataset

2 Design model using Class

3 Construct loss and optimizer(Using Pytorch API)

4 Training cycle(forward,backward,update)

3.1 Linear  Regression

import torch
# 1 Prepare for the dataset
x_data = torch.tensor([[1.0], [2.0], [3.0]])
y_data = torch.tensor([[2.0], [4.0], [6.0]])
# Define the Model
class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()  # 默认写法,一定要有
        self.linear = torch.nn.Linear(1, 1, bias=True)
        # 两个参数为输入和输出的维度,N*输入维度和N*输出维度,其模型为y=Ax+b线性模型,因此其输入输出的维度一定是一样的
        # bias为模型是否需要偏置b
    def forward(self, x):
        y_pred = self.linear(x)  #
        return y_pred
    # 这里发现没有BP,这是因为使用Model构造出来的模型会根据你的计算图来自动进行BP
model = LinearModel()
# Define the criterion and optimizer
criterion = torch.nn.MSELoss(size_average=False)  # MSELoss是将所有的平方误差相加
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)  # 参数:第一个为所优化的模型,第二个是学习率
# Training
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
# Output weight and bias
print('w=', model.linear.weight.item())
print('b=', model.linear.bias.item())
# Test model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred=', y_test.data)

image.gif

Result

image.gif编辑

最后预测的结果w接近2,而b接近0,这是与我们的数据集的情况相匹配的

3.2 Logistic Regression

import torch
import torchvision
import torch.nn.functional as F
import numpy as np
import matplotlib.pyplot as plt
# Prepare dataset
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])
# Define the model
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)
    def forward(self, x):
        y_pred = F.sigmoid(self.linear(x))
        return y_pred
model = LogisticRegressionModel()
# Define the criterion and optimizer
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# Training
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print('Epoch[{}/{}],loss:{:.6f}'.format(epoch, 1000, loss.item()))
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
# Drawing
x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.show()

image.gif

Result

image.gif编辑

可以看到当x等于2.5的时候,预测值刚好为0.5。这是与我们的数据集是相匹配的

参考资料

《机器学习》周志华

《深度学习与机器学习》吴恩达

《神经网络与与深度学习》邱锡鹏

《Pytorch深度学习实战》刘二大人

目录
相关文章
|
监控 Java 数据库连接
OceanBase数据库常见问题之observer 启动失败如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
1364 0
|
自然语言处理 算法 数据处理
持续进化,快速转录,Faster-Whisper对视频进行双语字幕转录实践(Python3.10)
Faster-Whisper是Whisper开源后的第三方进化版本,它对原始的 Whisper 模型结构进行了改进和优化。这包括减少模型的层数、减少参数量、简化模型结构等,从而减少了计算量和内存消耗,提高了推理速度,与此同时,Faster-Whisper也改进了推理算法、优化计算过程、减少冗余计算等,用以提高模型的运行效率。 本次我们利用Faster-Whisper对日语视频进行双语(日语/国语)转录实践,看看效率如何。
持续进化,快速转录,Faster-Whisper对视频进行双语字幕转录实践(Python3.10)
|
运维 安全 数据挖掘
【数据挖掘】离群点概念、类型、检测的挑战概述(图文解释 超详细)
【数据挖掘】离群点概念、类型、检测的挑战概述(图文解释 超详细)
1638 0
|
人工智能 C++
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
|
12月前
|
人工智能 自然语言处理 JavaScript
使用Playwright MCP实现UI自动化测试:从环境搭建到实战案例
本文介绍如何通过Playwright与MCP协议结合,实现基于自然语言指令的UI自动化测试。从环境搭建、核心工具到实战案例,展示AI驱动的测试新范式,降低技术门槛,提升测试效率与适应性。
|
人工智能 自然语言处理 数据挖掘
AI 驱动数据分析民主化,企业如何构建可信智能 Data Agent?
企业构建可信智能的 Data Agent 需以强大的数据底座为支撑,统一指标语义层和 NoETL 数据工程成为关键。
|
分布式计算 Java 关系型数据库
SpringBoot集成powerJob实战派
PowerJob 是全新一代分布式任务调度与计算框架,支持可视化管理、多种定时策略、丰富的执行模式(如单机、广播、Map/MapReduce),并提供工作流编排、在线日志、高可用及分布式计算能力,适用于定时任务、集群执行、延迟处理等场景。
1991 1
SpringBoot集成powerJob实战派
|
存储 人工智能 开发框架
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
Eliza 是一个开源的多代理模拟框架,支持多平台连接、多模型集成,能够快速构建智能、高效的AI系统。
2216 8
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
|
传感器 容器
电容式水传感器的工作原理
电容式水传感器通过测量水的介电常数变化来检测水分。当传感器接触到水时,其电容值会发生变化,从而触发信号输出,实现对水分的精确检测。广泛应用于农业、环境监测等领域。
1393 7