一、前期准备
1、对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作——>得出处理好的数据
2、数据分析的目的：运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。
第一步：建模，搭建一个预测模型或者其他模型
第二步：评估，从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。
# %matplotlib inline这一句是IPython的魔法函数，可以在IPython编译器里直接使用，作用是内嵌画图，省略掉plt.show()这一步，直接显示图像。 #如果不加这一句的话，我们在画图结束之后需要加上plt.show()才可以显示图像。 %matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from IPython.display import Image from sklearn.model_selection import train_test_split plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 plt.rcParams['figure.figsize'] = (10, 6) # 设置输出图片大小
1.1 载入数据
#读取原始数据 train = pd.read_csv('train.csv') #读取清洗过的数据 data = pd.read_csv('clear_data.csv')
二、模型搭建
2.1 模型选择
处理完前面的数据我们就得到建模数据，下一步是选择合适模型
在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
模型的选择一方面是通过我们的任务来决定的。
除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定。
刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型。
# sklearn模型算法选择路径图 Image('sklearn.png')
2.2 切割训练集和测试集
这里使用留出法划分数据集：
留出法直接将数据集划分为两个互斥的集合，其中一个集合作为训练集，留下的集合作为测试集；
将数据集分为自变量和因变量；
按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
使用分层抽样
设置随机种子以便结果能复现
# 使用分层抽样 # test_size=0.30 # 设置随机种子以便结果能复现 # random_state=0
- 切割数据集是为了后续能评估模型泛化能力
- sklearn中切割数据集的方法为
train_test_split - 查看函数文档可以在jupyter notebook里面使用
train_test_split后回车即可看到 - 分层和随机种子在参数里寻找
from sklearn.model_selection import train_test_split # 一般先取出X和y后再切割，有些情况会使用到未切割的，这时候X和y就可以用,X是清洗好的数据，y是我们要预测的存活数据'Survived' X = data y = train['Survived'] # 对数据集进行切割，将stratify=y就是按照y中的比例分配，随机种子为0 X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0) # 查看数据形状 print(X_train.shape, X_test.shape)
(668, 11), (223, 11))
思考：什么情况下切割数据集的时候不用进行随机选取？
答：在数据集本身已经是随机处理之后的，或者说数据集非常大，内部已经足够随机了。
2.3 模型建立
创建基于线性模型的分类模型（逻辑回归）
创建基于树的分类模型（决策树、随机森林）
分别使用这些模型进行训练，分别的到训练集和测试集的得分
查看模型的参数，并更改参数值，观察模型变化
提示:
逻辑回归不是回归模型而是分类模型，不要与LinearRegression混淆
随机森林其实是决策树集成为了降低决策树过拟合的情况
线性模型所在的模块为sklearn.linear_model
树模型所在的模块为sklearn.ensemble
from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier # 默认参数逻辑回归模型,默认max_iter=100 lr = LogisticRegression() lr.fit(X_train, y_train) # 查看训练集和测试集score值 print("Training set score: {:.2f}".format(lr.score(X_train, y_train))) print("Testing set score: {:.2f}".format(lr.score(X_test, y_test))) #Training set score: 0.80 #Testing set score: 0.78 # 调整参数后的逻辑回归模型,c代表是正则化，C越小正则化越强 lr2 = LogisticRegression(C=100) lr2.fit(X_train, y_train) print("Training set score: {:.2f}".format(lr2.score(X_train, y_train))) print("Testing set score: {:.2f}".format(lr2.score(X_test, y_test))) #Training set score: 0.80 #Testing set score: 0.79 # 默认参数的随机森林分类模型 rfc = RandomForestClassifier() rfc.fit(X_train, y_train) print("Training set score: {:.2f}".format(rfc.score(X_train, y_train))) print("Testing set score: {:.2f}".format(rfc.score(X_test, y_test))) #Training set score: 0.98 #Testing set score: 0.81 # 调整参数后的随机森林分类模型 rfc2 = RandomForestClassifier(n_estimators=100, max_depth=5) rfc2.fit(X_train, y_train) print("Training set score: {:.2f}".format(rfc2.score(X_train, y_train))) print("Testing set score: {:.2f}".format(rfc2.score(X_test, y_test))) #Training set score: 0.86 #Testing set score: 0.82
2.4 输出模型预测结果
- 输出模型预测分类标签
- 输出不同分类标签的预测概率
提示:
- 一般监督模型在sklearn里面有个
predict能输出预测标签，predict_proba则可以输出标签概
# 预测标签 pred = lr.predict(X_train) # 此时我们可以看到0和1的数组 # pred[:10]就是训练集中的前十行数据中每一行数据对应的预测结果，即每一位乘客的存活情况，若存活，则为1，反之为0 print(pred[:10]) # array([0, 1, 1, 1, 0, 0, 1, 0, 1, 1]) # 预测标签概率 pred_proba = lr.predict_proba(X_train) # pred_proba[:10] 表示前十行数据中每一行数据对应的存活和未存活的概率 print(pred_proba[:10]) # array([[0.60870022, 0.39129978], [0.17725433, 0.82274567], [0.40750365, 0.59249635], [0.18925851, 0.81074149], [0.87973912, 0.12026088], [0.91374559, 0.08625441], [0.13293198, 0.86706802], [0.90560801, 0.09439199], [0.05283987, 0.94716013], [0.10936016, 0.89063984]])
思考：预测标签的概率对我们有什么帮助？
答：预测标签的概率表明模型对于预测结果的确信程度。有了概率，我们可以计算预测标签的信息熵，信息熵越大，说明模型对于预测结果越没有信心，这表明模型的输入可能与训练样本差异过大，从而成为一种异常检测的方法。
我们还可以利用预测标签的概率进行集成学习，比如软投票。
