1 逻辑回归api介绍
- sklearn.linear_model.LogisticRegression(solver=‘liblinear’, penalty=‘l2’, C = 1.0)
solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，
- 默认: ‘liblinear’；用于优化问题的算法。
- 对于小数据集来说，“liblinear”是个不错的选择，而“sag”和’saga’对于大型数据集会更快。
- 对于多类问题，只有’newton-cg’， ‘sag’， 'saga’和’lbfgs’可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类
- penalty：正则化的种类
- C：正则化力度
默认将类别数量少的当做正例
LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习。而使用LogisticRegression(实现了SAG)
2 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测
2.1 背景介绍
- 数据介绍
原始数据的下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/
数据描述
（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤
相关的医学特征，最后一列表示肿瘤类型的数值。
（2）包含16个缺失值，用”?”标出。
2.2 案例分析
1.获取数据 2.基本数据处理 2.1 缺失值处理 2.2 确定特征值,目标值 2.3 分割数据 3.特征工程(标准化) 4.机器学习(逻辑回归) 5.模型评估
2.3 代码实现
import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression import ssl ssl._create_default_https_context = ssl._create_unverified_context # 1.获取数据 names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli', 'Mitoses', 'Class'] data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data", names=names) data.head() # 2.基本数据处理 # 2.1 缺失值处理 data = data.replace(to_replace="?", value=np.NaN) data = data.dropna() # 2.2 确定特征值,目标值 x = data.iloc[:, 1:10] x.head() y = data["Class"] y.head() # 2.3 分割数据 x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22) # 3.特征工程(标准化) transfer = StandardScaler() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4.机器学习(逻辑回归) estimator = LogisticRegression() estimator.fit(x_train, y_train) # 5.模型评估 y_predict = estimator.predict(x_test) y_predict estimator.score(x_test, y_test)
在很多分类场景当中我们不一定只关注预测的准确率！！！！！
比如以这个癌症举例子！！！我们并不关注预测的准确率，而是关注在所有的样本当中，癌症患者有没有被全部预测（检测）出来。
2.4 小结
- 肿瘤预测案例实现【知道】
- 如果数据中有缺失值，一定要对其进行处理
- 准确率并不是衡量分类正确的唯一标准
