MachineLearning之Logistic回归

简介: 一、概述 假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归; 利用Logistic回归进行分类的主要思想是: 根据现有数据对分类边界线建立回归公式, 以此进行分类。

一、概述

 假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归;

 利用Logistic回归进行分类的主要思想是: 根据现有数据对分类边界线建立回归公式, 以此进行分类。 这里的回归一词源于最佳拟合, 表示要找到最佳拟合参数集, 其背后的数学分析将在下一部分介绍。 训练分类器时的做法就是寻找最佳拟合参数, 使用的是最优化算法。

二、基于Logistic回归和Sigmoid函数的分类 

  单位阶跃函数也称海维赛德阶跃函数(Heaviside step function)
  Sigmoid函数:

    

  为了实现Logistic回归分类器, 我们可以在每个特征上乘以一个回归系数, 然后把所有的结果值相加, 将这个总和代入Sigmoid函数中, 进而得到一个范围在0~1之间的数值。 最后, 结果大于0.5的数据被归入1类, 小于0.5的即被归入0

类。 所以, Logistic回归也可以被看成是一种概率估计。

  那么现在问题来了? 在确定了分类器的函数形式之后,如何确定最佳回归系数【不同于 加权线性回归中的“权重”】呢?

  基于最优化方法的最佳回归系数确定

   梯度上升法 

相关文章
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
什么是 Probabilistic models 概率模型
什么是 Probabilistic models 概率模型
16 1
|
3月前
|
机器学习/深度学习
【机器学习】线性回归:OLS、RR和Lasso
【机器学习】线性回归:OLS、RR和Lasso
37 1
|
6月前
|
机器学习/深度学习 算法 Python
MachineLearning---Naive Bayes
MachineLearning---Naive Bayes
45 0
|
6月前
|
机器学习/深度学习 算法 决策智能
Lecture 4:无模型预测
Lecture 4:无模型预测
|
7月前
|
机器学习/深度学习 数据采集 Python
(附源码)基于sklearn的多种机器学习模型在降水降尺度中的应用(KNN\LR\RF\Ada\Xg\GBDT)2
(附源码)基于sklearn的多种机器学习模型在降水降尺度中的应用(KNN\LR\RF\Ada\Xg\GBDT)2
103 0
|
7月前
|
机器学习/深度学习 算法 数据可视化
(附源码)基于sklearn的多种机器学习模型在降水降尺度中的应用(KNN\LR\RF\Ada\Xg\GBDT)1
(附源码)基于sklearn的多种机器学习模型在降水降尺度中的应用(KNN\LR\RF\Ada\Xg\GBDT)1
101 0
|
9月前
|
机器学习/深度学习 算法
瞎聊机器学习——LR(Logistic Regression)逻辑斯蒂回归(一)
瞎聊机器学习——LR(Logistic Regression)逻辑斯蒂回归(一)
瞎聊机器学习——LR(Logistic Regression)逻辑斯蒂回归(一)
|
机器学习/深度学习 自然语言处理 算法
机器学习算法之——隐马尔可夫模型(Hidden Markov Models,HMM)
隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯网,这是一种著名的有向图模型,主要用于时序数据建模(语音识别、自然语言处理等)。
机器学习算法之——隐马尔可夫模型(Hidden Markov Models,HMM)
|
数据挖掘 计算机视觉 Python
目标检测的Tricks | 【Trick13】使用kmeans与遗传算法聚类anchor
目标检测的Tricks | 【Trick13】使用kmeans与遗传算法聚类anchor
215 0
|
机器学习/深度学习 算法
朴素贝叶斯Naive Bayesian分类器 (NBC)
本文介绍常见的机器学习模型朴素贝叶斯Naive Bayesian。 朴素贝叶斯模型属于generative model,即通过输出的结果反推生成结果的模型概率。
朴素贝叶斯Naive Bayesian分类器 (NBC)