机器学习常见异常和解决办法汇总

简介: scikit-learn是一个Python机器学习库,提供了很多基础的模型和算法。

1.sklearn库的LogisticRegression模型训练时警告lbfgs failed to converge (status=1)

scikit-learn是一个Python机器学习库,提供了很多基础的模型和算法。在使用LogisticRegression逻辑斯蒂回归模型时,可能会出现警告信息如下:

ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.
Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(

分析:

从警告信息中可以看到,是迭代次数ITERATIONS超过了限制,LogisticRegression的max_iter参数的默认值为100,数据量超过了限制。

解决办法:

只需要在初始化模型的时候给max_iter参数指定一个较大的值就不会超过限制,例如max_iter=10000就不会再出现警告信息。

2.sklearn库的LogisticRegression模型使用L1正则报错

使用sklearn库的LogisticRegression模型时可以指定惩罚项,即正则项,在使用L1正则时会报错,例如

LogisticRegression(fit_intercept=True, C=0.1, penalty='l1')

报错如下:

File "XXX\lib\site-packages\sklearn\linear_model\_logistic.py", line 447, in _check_solver
    raise ValueError(
ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.

分析:

可以看到,这是因为在新版的sklearn库中,lbfgs分类器只支持l2惩罚项或者不要惩罚项,要使用L1正则项,则需要使用liblinear分类器,同时dual必须是False。

解决办法:

在设置惩罚项参数的同时,设置分类器为liblinear即可,例如

clf = LogisticRegression(fit_intercept=True, C=0.1, penalty='l1', solver='liblinear')


相关文章
|
数据采集 机器学习/深度学习 算法
【机器学习】数据清洗之处理异常点
【机器学习】数据清洗之处理异常点
365 1
|
数据采集 机器学习/深度学习 数据挖掘
【机器学习4】构建良好的训练数据集——数据预处理(一)处理缺失值及异常值
【机器学习4】构建良好的训练数据集——数据预处理(一)处理缺失值及异常值
791 0
|
3月前
|
机器学习/深度学习 存储 运维
机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统
本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。
249 46
|
机器学习/深度学习 数据采集 运维
构建基于机器学习的异常检测系统
【6月更文挑战第7天】构建基于机器学习的异常检测系统,通过收集和预处理数据,进行特征提取和选择,然后选择SVM、随机森林等算法训练模型。评估指标包括准确率、召回率、F1值,旨在识别安全威胁、系统故障等异常,保障系统稳定。未来将持续优化性能并探索新技术。
|
机器学习/深度学习 运维 算法
利用机器学习进行异常检测的技术实践
【5月更文挑战第16天】本文探讨了利用机器学习进行异常检测的技术实践,强调了在大数据时代异常检测的重要性。机器学习通过无监督、有监督和半监督学习方法自动识别异常,常见算法包括KNN、LOF、K-means和GMM等。异常检测流程包括数据准备、特征工程、选择算法、训练模型、评估优化及部署。机器学习为异常检测提供了灵活性和准确性,但需结合具体问题选择合适方法。
|
数据采集 机器学习/深度学习 算法
【机器学习】数据清洗之识别异常点
【机器学习】数据清洗之识别异常点
620 1
|
机器学习/深度学习 运维 算法
【Python机器学习专栏】异常检测算法在Python中的实践
【4月更文挑战第30天】本文介绍了异常检测的重要性和在不同领域的应用,如欺诈检测和网络安全。文章概述了四种常见异常检测算法:基于统计、距离、密度和模型的方法。在Python实践中,使用scikit-learn库展示了如何实现这些算法,包括正态分布拟合、K-means聚类、局部异常因子(LOF)和孤立森林(Isolation Forest)。通过计算概率密度、距离、LOF值和数据点的平均路径长度来识别异常值。
365 0
|
机器学习/深度学习 运维 算法
自适应机器学习异常检测
自适应机器学习异常检测
191 1
|
机器学习/深度学习 数据采集 人工智能
时间序列异常检测:统计和机器学习方法介绍
在本文中将探索各种方法来揭示时间序列数据中的异常模式和异常值。
476 0
|
机器学习/深度学习 Python
Python 异常值处理 箱线图、3σ原则 (机器学习)
Python 异常值处理 箱线图、3σ原则 (机器学习)
690 0
Python 异常值处理 箱线图、3σ原则 (机器学习)

热门文章

最新文章