备案控制台
开发者社区 开发与运维 文章 正文

建立逻辑回归(LogisticRegression)二分类器

2023-01-11 46
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 建立逻辑回归(LogisticRegression)二分类器

git:逻辑回归二分类器


已知数据集 testSet.txt 中数据格式如下：


0a2653c851af460fa595bd959398a8f1.png


设第一列特征为x1，第二列特征为x2，第三列标签为z


每一个特征都乘上一个回归系数w，则有

z=w0x0+w1x1+w2x2(x0=1)

z=w0x0+w1x1+w2x2(x0=1)

用向量表示法，可记为

z=WTX

z=WTX

将z代入Sigmoid函数中，得：

σ(z)=11+e−z，z=WTX

σ(z)=11+e−z，z=WTX


σ(WTX)=11+e−WTX

σ(WTX)=11+e−WTX

Sigmoid函数由于其图像特点，可以很方便的执行二分类的任务，大于0.5的数据归为一类，小于0.5的数据归为另一类.

Sigmoid函数：


import matplotlib.pyplot as plt
import numpy as np
def sigmoid(z):
    return 1 / (1 + np.exp(-z))
nums = np.arange(-5, 5, step=0.3)
fig = plt.figure(figsize=(12, 4))
ax = fig.add_subplot(111)
ax.plot(nums, sigmoid(nums), 'r')
plt.show()


2d65d23f6d4748949b924e4057485923.png


梯度上升法：

记梯度为，则函数的梯度为

∇f(x,y)=⎛⎝∂f(x,y)∂x∂f(x,y)∂y⎞⎠

∇f(x,y)=(∂f(x,y)∂x∂f(x,y)∂y)

梯度代表了函数变化的方向，记为函数变化的大小，也称“步长”，则梯度上升算法的迭代公式为：

w:=w+α∇wf(w)

w:=w+α∇wf(w)

⇒w:=w+α(z−σ(z))X

⇒w:=w+α(z−σ(z))X

对应的梯度下降的迭代公式为

w:=w−α∇wf(w)

w:=w−α∇wf(w)

⇒w:=w−α(z−σ(z))X

⇒w:=w−α(z−σ(z))X

由此，我们就可以通过梯度上升法来寻找最佳的回归系数。


使用 Matplotlib 绘出数据点：


import TxtToNumpy
dataMat, labelList = TxtToNumpy.TxtToNumpy("testSet.txt")
type0_x = []; type0_y = []
type1_x = []; type1_y = []
for i in range(len(labelList)):
    if labelList[i] == 0:
        type0_x.append(dataMat[i][0])
        type0_y.append(dataMat[i][1])
    if labelList[i] == 1:
        type1_x.append(dataMat[i][0])
        type1_y.append(dataMat[i][1])
fig = plt.figure(figsize = (8, 4))
ax = fig.add_subplot(111)
type0 = ax.scatter(type0_x, type0_y, s = 30, c = 'r')
type1 = ax.scatter(type1_x, type1_y, s = 30, c = 'b')
ax.set_xlabel("X1")
ax.set_ylabel("X2")
ax.legend((type0, type1), ("Class 0", "Class 1"), loc=0)
plt.show()


TxtToNumpy.py 模块：


from numpy import *
def TxtToNumpy(filename):
    file = open(filename)
    file_lines_list = file.readlines()
    number_of_file_lines = len(file_lines_list)
    dataMat = zeros((number_of_file_lines, 3))
    labelList = []
    index = 0
    for line in file_lines_list:
        line = line.strip()
        line_list = line.split('\t')
        dataMat[index, :] = line_list[0:3]
        labelList.append(int(line_list[-1]))
        index += 1
    return dataMat, labelList
if __name__ == "__main__":
    print("Code Run As A Program")


6de278e6d6694ce5bb08e7e842b7e74b.png


画出决策边界：


①批处理梯度上升法求权重，进而画出决策边界：

批处理梯度上升法求权重时，每次更新回归系数都需要遍历整个数据集，因此准确度也最高，但计算复杂度也非常高。


BpGradientAscent.py 模块：


# coding: utf-8
#Batch Processing Gradient Ascent
import numpy as np
import matplotlib.pyplot as plt
#将txt文件中储存的数据和标签分别存储在列表dataMat和labelMat中
def loadDataSet(filename):
    dataList = []
    labelList = []
    fr = open(filename)
    for line in fr.readlines():
        #将每一行的各个元素取出存放在列表lineArr中
        lineArr = line.strip().split()
        #[ , , ]中三个参数代表了公式 z = W^T X中的X，第一个X的值为1
        dataList.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelList.append(int(lineArr[2]))
    return dataList, labelList
#sigmoid函数，用于分类
def sigmoid(z):
    return 1.0 / (1 + np.exp(-z))
#batch Processing Gradient Ascent，批处理梯度上升求权重W; alpha表示步长， maxCycles表示梯度上升算法的最大迭代次数
def bpGradientAscent(filename, alpha=0.001, maxCycles=500):
    dataList, labelList = loadDataSet(filename)
    dataMatrix = np.mat(dataList)
    #teanspose()用于矩阵转置
    labelMatrix = np.mat(labelList).transpose()
    m, n = np.shape(dataMatrix)
    weights = np.ones((n, 1))
    for i in range(maxCycles):
        sig = sigmoid(dataMatrix * weights)
        error = labelMatrix - sig
        weights = weights + alpha * dataMatrix.transpose() * error
    #getA()将矩阵转换为数组
    return weights.getA()
#画出决策边界
def decisionBoundary(weights, filename):
    dataMat, labelMat = loadDataSet(filename)
    dataArr = np.array(dataMat)
    n = np.shape(dataArr)[0]
    type0_x = []; type0_y = []
    type1_x = []; type1_y = []
    for i in range(n):
        if labelMat[i] == 0:
            type0_x.append(dataMat[i][1])
            type0_y.append(dataMat[i][2])
        if labelMat[i] == 1:
            type1_x.append(dataMat[i][1])
            type1_y.append(dataMat[i][2])
    fig = plt.figure(figsize = (8, 4))
    ax = fig.add_subplot(111)
    type0 = ax.scatter(type0_x, type0_y, s = 30, c = 'r')
    type1 = ax.scatter(type1_x, type1_y, s = 30, c = 'b')
    x1 = np.arange(-4.5, 4.5, 0.1)
    x2 = (-weights[0]-weights[1]*x1) / weights[2]
    ax.set_xlabel("X1")
    ax.set_ylabel("X2")
    ax.legend((type0, type1), ("Class 0", "Class 1"), loc=0)
    ax.plot(x1, x2)
    plt.show()
if __name__ == "__main__":
    print("Code Run as a Program!")


调用该 BpGradientAscent.py 模块：


import matplotlib.pyplot as plt
import numpy as np
import BpGradientAscent
BpGradientAscent.decisionBoundary(BpGradientAscent.bpGradientAscent("testSet.txt"), "testSet.txt")


得到决策边界(蓝线)：


8ec4f2997fb246878c34ecd6d122b7c6.png


②小批量随机梯度上升法求权重，进而画出决策边界：


小批量随机梯度上升法求权重时，每次更新回归系数只需要选取一部分数据，准确度相对于批处理梯度上升法有所降低，但计算复杂度相对也降低很多，可以通过调整步长和最大迭代次数来提供决策边界的准确度。


SbsGradientAscent.py 模块：


# coding: utf-8
#Small Batch Stochastic Gradient Ascent
import numpy as np
import matplotlib.pyplot as plt
#将txt文件中储存的数据和标签分别存储在列表dataMat和labelMat中
def loadDataSet(filename):
    dataList = []
    labelList = []
    fr = open(filename)
    for line in fr.readlines():
        #将每一行的各个元素取出存放在列表lineArr中
        lineArr = line.strip().split()
        #[ , , ]中三个参数代表了公式 z = W^T X中的X，第一个X的值为1
        dataList.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelList.append(int(lineArr[2]))
    return dataList, labelList
#sigmoid函数，用于分类
def sigmoid(z):
    return 1.0 / (1 + np.exp(-z))
#small Batch Stochastic Gradient Ascent，小批量随机梯度上升求权重；maxCycles表示梯度上升算法的最大迭代次数
def sbsGradientAscent(filename, maxCycles = 300):
    dataList, labelList = loadDataSet(filename)
    m, n = np.shape(dataList)
    weights = np.ones(n)
    for i in range(maxCycles):
        dataIndex = range(m)
        for j in range(m):
            #alpha表示步长
            alpha = 4 / (1.0 + i + j) + 0.001
            #uniform()表示在参数范围内随机取值
            randomIndex = int(np.random.uniform(0, len(dataIndex)))
            error = labelList[randomIndex] - sigmoid(sum(dataList[randomIndex] * weights))
            weights = weights + alpha * error * np.array(dataList[randomIndex])
            #从列表中移除刚刚被随机选取的值
            del(list(dataIndex)[randomIndex])
    return weights
def decisionBoundary(weights, filename):
    dataMat, labelMat = loadDataSet(filename)
    dataArr = np.array(dataMat)
    n = np.shape(dataArr)[0]
    type0_x = []; type0_y = []
    type1_x = []; type1_y = []
    for i in range(n):
        if labelMat[i] == 0:
            type0_x.append(dataMat[i][1])
            type0_y.append(dataMat[i][2])
        if labelMat[i] == 1:
            type1_x.append(dataMat[i][1])
            type1_y.append(dataMat[i][2])
    fig = plt.figure(figsize = (8, 4))
    ax = fig.add_subplot(111)
    type0 = ax.scatter(type0_x, type0_y, s = 30, c = 'r')
    type1 = ax.scatter(type1_x, type1_y, s = 30, c = 'b')
    x1 = np.arange(-4.5, 4.5, 0.1)
    x2 = (-weights[0]-weights[1]*x1) / weights[2]
    ax.set_xlabel("X1")
    ax.set_ylabel("X2")
    ax.legend((type0, type1), ("Class 0", "Class 1"), loc=0)
    ax.plot(x1, x2)
    plt.show()
if __name__ == "__main__":
    print("Code Run as a Program!")


调用 SbsGradientAscent.py 模块：


import matplotlib.pyplot as plt
import numpy as np
import SbsGradientAscent
SbsGradientAscent.decisionBoundary(SbsGradientAscent.sbsGradientAscent("testSet.txt"), "testSet.txt")


得到决策边界(蓝线)：


12c3b7f3f8814309a195c64f051d4445.png


BpGradientAscent.py 模块 和 SbsGradientAscent.py 模块的不同之处在于其中的 bpGradientAscent()函数和 sbsGradientAscent()函数 不同，分别表示 批处理梯度上升求权重 和 小批量随机梯度上升求权重


bpGradientAscent()函数：


#batch Processing Gradient Ascent，批处理梯度上升求权重W; alpha表示步长， maxCycles表示梯度上升算法的最大迭代次数
def bpGradientAscent(filename, alpha=0.001, maxCycles=500):
    dataList, labelList = loadDataSet(filename)
    dataMatrix = np.mat(dataList)
    #teanspose()用于矩阵转置
    labelMatrix = np.mat(labelList).transpose()
    m, n = np.shape(dataMatrix)
    weights = np.ones((n, 1))
    for i in range(maxCycles):
        sig = sigmoid(dataMatrix * weights)
        error = labelMatrix - sig
        weights = weights + alpha * dataMatrix.transpose() * error
    #getA()将矩阵转换为数组
    return weights.getA()


sbsGradientAscent()函数：


#small Batch Stochastic Gradient Ascent，小批量随机梯度上升求权重；maxCycles表示梯度上升算法的最大迭代次数
def sbsGradientAscent(filename, maxCycles = 300):
    dataList, labelList = loadDataSet(filename)
    m, n = np.shape(dataList)
    weights = np.ones(n)
    for i in range(maxCycles):
        dataIndex = range(m)
        for j in range(m):
            #alpha表示步长
            alpha = 4 / (1.0 + i + j) + 0.001
            #uniform()表示在参数范围内随机取值
            randomIndex = int(np.random.uniform(0, len(dataIndex)))
            error = labelList[randomIndex] - sigmoid(sum(dataList[randomIndex] * weights))
            weights = weights + alpha * error * np.array(dataList[randomIndex])
            #从列表中移除刚刚被随机选取的值
            del(list(dataIndex)[randomIndex])
    return weights


最终得到的决策边界(蓝线)为：


bpGradientAscent()函数：


34e8d716411043c08c7ffba9fbba23de.png

sbsGradientAscent()函数：


92ba0822ed0b46e1ae72df8a17d3a45b.png

文章标签：
Python
开发工具
机器学习/深度学习
git
算法
数据格式
白水你要努力啊
目录
相关文章
游客i66wb7w7cg4tk
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
游客i66wb7w7cg4tk
84 0
源码星辰
|
28天前
|
机器学习/深度学习 定位技术 数据处理
认识线性回归模型
线性回归是一种广泛应用于统计学和机器学习的技术，用于研究两个或多个变量之间的线性关系。
源码星辰
30 1
长梦
|
1月前
|
机器学习/深度学习 分布式计算 前端开发
线性回归模型使用技巧
【5月更文挑战第14天】线性回归基础及进阶应用概述：探讨模型假设、最小二乘法和系数估计；通过多项式特征处理非线性关系；应用正则化（Lasso、Ridge）减少过拟合；特征选择优化模型复杂度；使用GridSearchCV进行超参数调优；处理分组数据、缺失值；集成方法（Bagging）提升性能；尝试岭回归、弹性网络、高斯过程回归和鲁棒回归；利用模型融合增强预测力；应对大规模数据挑战；分析特征重要性；自动特征工程；增强模型解释性；集成模型多样性及权重调整；应用序列最小优化（SMO）、预测区间估计；动态特征选择；模型校验与调优；稳定性分析；迁移学习。
长梦
52 3
终有链响
|
26天前
|
机器学习/深度学习 数据采集 供应链
线性回归模型
线性回归模型
终有链响
23 0
拓端数据部落
|
1月前
|
机器学习/深度学习
R语言用局部加权回归(Lowess)对logistic逻辑回归诊断和残差分析
R语言用局部加权回归(Lowess)对logistic逻辑回归诊断和残差分析
拓端数据部落
28 2
拓端数据部落
|
1月前
|
机器学习/深度学习 数据采集 算法
Python对中国电信消费者特征预测：随机森林、朴素贝叶斯、神经网络、最近邻分类、逻辑回归、支持向量回归（SVR）
Python对中国电信消费者特征预测：随机森林、朴素贝叶斯、神经网络、最近邻分类、逻辑回归、支持向量回归（SVR）
拓端数据部落
34 0
拓端数据部落
|
1月前
|
机器学习/深度学习 数据可视化
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择分类心肌梗塞数据模型案例(下)
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择分类心肌梗塞数据模型案例
拓端数据部落
8 0
拓端数据部落
|
1月前
|
机器学习/深度学习 算法 数据可视化
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择分类心肌梗塞数据模型案例(上)
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择分类心肌梗塞数据模型案例
拓端数据部落
20 0
拓端数据部落
|
1月前
|
机器学习/深度学习
R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测
R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测
拓端数据部落
32 0
拓端数据部落
|
1月前
|
机器学习/深度学习 算法 数据可视化
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择的分类模型案例
R语言惩罚logistic逻辑回归（LASSO,岭回归）高维变量选择的分类模型案例
拓端数据部落
68 0

热门文章

最新文章

  • 1
    阿里云A100 GPU服务器租用价格表_按小时_包年包月费用
  • 2
    Hadoop数据迁移MaxCompute最佳实践
  • 3
    Kubernetes 入门教程
  • 4
    Vue+Django+MySQL搭建指南（个人全栈快速开发）
  • 5
    FPGA 那些事儿之异构计算
  • 6
    TextView 代码设置最大长度之maxLength和maxEms
  • 7
    “出海”与管理思想变革
  • 8
    <数据库>高性能Redis快速入门 | (附Redis常用命令)
  • 9
    Cannot instantiate the type List
  • 10
    在迁移邮箱时， Mailbox Size Exceeds Target Quota 2.3GB错误的解决
  • 1
    Django中ORM性能调优
    24
  • 2
    基于SpringBoot+Vue的拍卖管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
    28
  • 3
    springboot数据库及缓存常用依赖及配置
    28
  • 4
    IDEA安装actiBPM插件
    19
  • 5
    Dart循环
    23
  • 6
    Dart基础-main及变量、常量、注释
    15
  • 7
    Dart第一个程序hello，world
    15
  • 8
    🎉使用Tauri+vite+koa2+mysql开发了一款待办效率应用
    28
  • 9
    Dart开发环境搭建-Windows
    17
  • 10
    IDEA创建多模块项目常用pom
    16

    • 相关课程

    更多
  • 【算法实战】9. 线性回归算法
  • 【算法实战】11. K-Means（K-均值）聚类算法
  • 【算法实战】5. Logistic回归算法
  • 机器学习基础与回归算法
  • 【算法实战】4. 朴素贝叶斯算法
  • 【算法实战】2. K近邻算法

    • 相关电子书

    更多
  • 纯干货|机器学习中梯度下降法的分类及对比分析
  • 纯干货 | 机器学习中梯度下降法的分类及对比分析
  • 神经网络结构设计

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 推荐系统入门之使用ALS算法实现打分预测
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）