机械设备故障预测（Python代码实现）

'''~~~~~~~~~~~~~~~~~~任务1~~~~~~~~~~~~~~~~~'''
'''1 读取数据'''
import pandas as pd
shuju=pd.read_excel('train_data.xlsx')
print(shuju.head(10))
#======查看数据基本信息===============
print(shuju.info())
#看起来是没有缺失值的，再用isnull来查看一下是否又缺失值：
print(shuju.isnull().sum())
#查看数据有哪些特征：
print(shuju.columns)
shuju2=shuju.drop(['机器编号', '统一规范代码','具体故障类别'],axis=1)
print(shuju2.head())
'''2 数据预处理'''
#(1)机器质量等级，这个特征属于离散变量而且是字符型，所以需要进行编码处理。先查看这一列有多少等级：
print(shuju2['机器质量等级'].unique())   #unique()：返回参数数组中所有不同的值，并按照从小到大排序
#通过映射的方式对它们进行编码：
mapping = {
           'L': 3,
           'M': 2,
           'H': 1}
shuju2['机器质量等级'] =shuju2['机器质量等级'].map(mapping)
print(shuju2.head())
'''~~~~~~~~~~~~~~~~~~任务2~~~~~~~~~~~~~~~~~~~~~~~~~~~'''
#建议使用独热编码，独热编码很适合用来解决类别型数据的离散值问题。
shuju3=pd.get_dummies(shuju2,columns=['机器质量等级'])
print(shuju3.head())
#====(2)查看类的分布,解决不平衡问题===========
df1=shuju3['是否发生故障'].value_counts()
print(df1)
#可以看出有明显的类不平衡问题，等会需要解决它
#===（3）提取自变量和因变量：========
X = shuju3.drop('是否发生故障',axis=1)# 特征
y = shuju3['是否发生故障'] # 目标变量
print(X)
#执行欠采样技术，解决类不平衡的问题：
# 欠采样
from collections import Counter
from imblearn.under_sampling import ClusterCentroids
cc = ClusterCentroids(random_state=2022)
X_resampled, y_resampled = cc.fit_resample(X, y)
print(sorted(Counter(y_resampled).items()))
#=====（4）分割数据：=====
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X_resampled,y_resampled,test_size=0.2,random_state=100)
#=====（5）使用逻辑回归模型预测=======
# 导入模型
from sklearn.linear_model import LogisticRegression
# 初始化模型，使用默认参数
logreg = LogisticRegression()
# 用数据训练模型
logreg.fit(X_train,y_train)
# 使用模型预测
y_pred=logreg.predict(X_test)
print(y_pred)
#评估：
from sklearn import metrics
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))  #准确率
print("Precision:",metrics.precision_score(y_test, y_pred)) #查准率
print("Recall:",metrics.recall_score(y_test, y_pred))  #召回率
#====（6）使用决策树模型预测=======
from sklearn.tree import DecisionTreeClassifier # 导入决策树
# 选择基尼系数作为判断标准，树深度为3
clf_gini = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=0)
clf_gini.fit(X_train, y_train) #训练模型
y_pred_gini = clf_gini.predict(X_test) # 预测模型
print(y_pred_gini[0:5]) # 预测前五个结果
#评估：
from sklearn import metrics
print("Accuracy:",metrics.accuracy_score(y_test, y_pred_gini))
print("Precision:",metrics.precision_score(y_test, y_pred_gini))
print("Recall:",metrics.recall_score(y_test, y_pred_gini))
#可视化一下：
import matplotlib.pyplot as plt
plt.figure(figsize=(12,8))
from sklearn import tree
tree.plot_tree(clf_gini.fit(X_train, y_train))
plt.show()
#可视化混淆矩阵：
# 可视化混淆矩阵
from sklearn.metrics import plot_confusion_matrix
plot_confusion_matrix(clf_gini , X_test, y_test)
plt.show()
#这个结果好吗？不，我们来寻优找到最佳参数。
#========(7)寻优找到最佳参数==========
#~~~1）确定max_depth最优~~~~~
## 确定最佳深度
import numpy as np
from sklearn.tree import DecisionTreeClassifier # 导入决策树
score_all=[]
# range(start, stop[, step])
for i in range(1,100,1):
    # 选择基尼系数作为判断标准，树深度为3
    clf_gini = DecisionTreeClassifier(criterion='gini', max_depth=i, random_state=0)
    clf_gini.fit(X_train, y_train) #训练模型
    y_pred_gini = clf_gini.predict(X_test) # 预测模型
    y_pred_gini[0:5] # 预测前五个结果
    from sklearn.metrics import accuracy_score
    acc=accuracy_score(y_test, y_pred_gini)
#   print(acc)
    score_all.append([i,acc])
ScoreAll = np.array(score_all)
max_score = np.where(ScoreAll==np.max(ScoreAll[:,1]))[0][0] #找出最高得分对应的索引
print("最优参数以及最高得分:",ScoreAll[max_score])
plt.figure(figsize=[20,5])
plt.plot(ScoreAll[:,0],ScoreAll[:,1])
plt.show()
#~~~~~~2）确定min_samples_split最优~~~~~~~
# 分割内部节点所需的最小样本数
## 确定最佳深度max_depth
import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeClassifier # 导入决策树
score_all=[]
# range(start, stop[, step])
# 带入最佳深度后，再遍历2到20的内部最小样本数
for i in range(2,20,1):
    # 选择基尼系数作为判断标准，树深度为3
    clf_gini = DecisionTreeClassifier(criterion='gini', max_depth=9, min_samples_split=i,random_state=0)
    clf_gini.fit(X_train, y_train) #训练模型
    y_pred_gini = clf_gini.predict(X_test) # 预测模型
    y_pred_gini[0:5] # 预测前五个结果
    from sklearn.metrics import accuracy_score
    acc=accuracy_score(y_test, y_pred_gini)
#   print(acc)
    score_all.append([i,acc])
ScoreAll = np.array(score_all)
max_score = np.where(ScoreAll==np.max(ScoreAll[:,1]))[0][0] #找出最高得分对应的索引
print("最优参数以及最高得分:",ScoreAll[max_score])
plt.figure(figsize=[20,5])
plt.plot(ScoreAll[:,0],ScoreAll[:,1])
plt.show()
# 结果显示默认的2就是最佳
#~~~~~~~~3)确定min_samples_leaf参数~~~~~~~~~~~~~
# 确定
# 分割内部节点所需的最小样本数min_samples_split
## 确定最佳深度max_depth
import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeClassifier # 导入决策树
score_all=[]
# range(start, stop[, step])
# 带入最佳深度=12，min_samples_split=2，遍历min_samples_leaf = i
for i in range(1,20,1):
    # 选择基尼系数作为判断标准，树深度为3
    clf_gini = DecisionTreeClassifier(criterion='gini', max_depth=9, min_samples_split=5,min_samples_leaf = i,random_state=0)
    clf_gini.fit(X_train, y_train) #训练模型
    y_pred_gini = clf_gini.predict(X_test) # 预测模型
    y_pred_gini[0:5] # 预测前五个结果
    from sklearn.metrics import accuracy_score
    acc=accuracy_score(y_test, y_pred_gini)
    score_all.append([i,acc])
ScoreAll = np.array(score_all)
max_score = np.where(ScoreAll==np.max(ScoreAll[:,1]))[0][0] #找出最高得分对应的索引
print("最优参数以及最高得分:",ScoreAll[max_score])
plt.figure(figsize=[20,5])
plt.plot(ScoreAll[:,0],ScoreAll[:,1])
plt.show()
# 最佳参数还是2
'''根据我们前边的一系列操作，我们确定因为max_depth在9附近，min_samples_split在5附近，
min_samples_leaf在2附近是最优参数，所以我们分别在这个附近利用网格搜索得到最优参数。
因为要涉及到三个参数联调，这里就要用到网格搜索函数。代码如下：'''
# 网格搜索确定内联最佳
from sklearn.model_selection import GridSearchCV
param_grid = {
    'max_depth':np.arange(6, 12),
    'min_samples_leaf':np.arange(3, 7),
    'min_samples_split':np.arange(1, 4)}
rfc = DecisionTreeClassifier(random_state=66)
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(X_train, y_train)
print(GS.best_params_)
print(GS.best_score_)
#这里三个参数和我们前边所暂定的参数都不一样。证明三者之间确实是相互影响的。最终确定还是选取开始的三个。
#从而得到最佳参数：‘max_depth’: 6, ‘min_samples_leaf’: 5, ‘min_samples_split’: 2}，此时准确率为0.983460884353741