机器学习中的数学原理——线性可分问题

简介: 机器学习中的数学原理——线性可分问题

一、什么是线性可分问题

线性可分就是说可以用一个线性函数把两类样本分开,比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数。

二、案例分析

我们之前学习了感知机模型,这是一个非常简单而且容易理解的模型,相应的它有很多缺点,最大的缺点就是它只能解决线性可分的问题。

那到底什么是线性可分问题呢?刚才我们尝试的是用直线对训练数据进行分类,现在假设有下面 这张图里的数据,其中圆点为 1,叉号为 −1,如果只用一条直线对这些数据进行分类,应该画一条什么样的线呢?

这个怎么看都不能只用一条直线分类,所以这是无法做到的。线性可分指的就是能够使用直线分类的情 况,像这样不能用直线分类的就不是线性可分。

像照片这类的图像分类就不是线性可分了。这类图像数据的维度一般会很高,所以无法可视化。但是想一想 也知道,根据图像特征进行分类的任务肯定不是那么简单的。我想大部分情况下是线性不可分的。

感知机是非常简单的模型,基本不会被应用在实际的问题中。前提到的感知机也被称为简单感知机单层感知机,真 的是很弱的模型。不过,既然有单层感知机,那么就会有多层感 知机。实际上多层感知机就是神经网络了。

神经网络是表现力非常高的模型。这在我们之后的学习中会经常接触到。


相关文章
|
7月前
|
机器学习/深度学习 算法 Python
机器学习特征筛选:向后淘汰法原理与Python实现
向后淘汰法(Backward Elimination)是机器学习中一种重要的特征选择技术,通过系统性地移除对模型贡献较小的特征,以提高模型性能和可解释性。该方法从完整特征集出发,逐步剔除不重要的特征,最终保留最具影响力的变量子集。其优势包括提升模型简洁性和性能,减少过拟合,降低计算复杂度。然而,该方法在高维特征空间中计算成本较高,且可能陷入局部最优解。适用于线性回归、逻辑回归等统计学习模型。
277 7
|
9月前
|
机器学习/深度学习 资源调度 算法
机器学习领域必知数学符号与概念(一)
本文介绍了一些数学符号以及这些符号的含义。
744 65
|
8月前
|
机器学习/深度学习 数据采集 分布式计算
大数据分析中的机器学习基础:从原理到实践
大数据分析中的机器学习基础:从原理到实践
382 3
|
10月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
582 4
|
机器学习/深度学习 算法 知识图谱
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
|
机器学习/深度学习 算法
机器学习入门(三):K近邻算法原理 | KNN算法原理
机器学习入门(三):K近邻算法原理 | KNN算法原理
|
机器学习/深度学习 API
机器学习入门(七):线性回归原理,损失函数和正规方程
机器学习入门(七):线性回归原理,损失函数和正规方程
|
11月前
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的深度学习模型:原理与应用
探索机器学习中的深度学习模型:原理与应用
285 0
|
机器学习/深度学习 程序员
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
|
机器学习/深度学习 算法
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)