1.sklearn库的LogisticRegression模型训练时警告lbfgs failed to converge (status=1)
scikit-learn是一个Python机器学习库,提供了很多基础的模型和算法。在使用LogisticRegression逻辑斯蒂回归模型时,可能会出现警告信息如下:
ConvergenceWarning: lbfgs failed to converge (status=1): STOP: TOTAL NO. of ITERATIONS REACHED LIMIT. Increase the number of iterations (max_iter) or scale the data as shown in: https://scikit-learn.org/stable/modules/preprocessing.html Please also refer to the documentation for alternative solver options: https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression n_iter_i = _check_optimize_result(
分析:
从警告信息中可以看到,是迭代次数ITERATIONS超过了限制,LogisticRegression的max_iter参数的默认值为100,数据量超过了限制。
解决办法:
只需要在初始化模型的时候给max_iter参数指定一个较大的值就不会超过限制,例如max_iter=10000就不会再出现警告信息。
2.sklearn库的LogisticRegression模型使用L1正则报错
使用sklearn库的LogisticRegression模型时可以指定惩罚项,即正则项,在使用L1正则时会报错,例如
LogisticRegression(fit_intercept=True, C=0.1, penalty='l1')
报错如下:
File "XXX\lib\site-packages\sklearn\linear_model\_logistic.py", line 447, in _check_solver raise ValueError( ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.
分析:
可以看到,这是因为在新版的sklearn库中,lbfgs分类器只支持l2惩罚项或者不要惩罚项,要使用L1正则项,则需要使用liblinear分类器,同时dual必须是False。
解决办法:
在设置惩罚项参数的同时,设置分类器为liblinear即可,例如
clf = LogisticRegression(fit_intercept=True, C=0.1, penalty='l1', solver='liblinear')