R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病-1
https://developer.aliyun.com/article/1489347
执行机器学习算法
Logistic回归
首先，我们将数据集分为训练数据（75%）和测试数据（25%）。
set.seed(100) #100用于控制抽样的permutation为100. index<-sample(nrow(heart),0.75*nrow(heart))
在训练数据上生成模型，然后用测试数据验证模型。
glm(family = "binomial") # family = " 二项式 "意味着只包含两个结果。
为了检查我们的模型是如何生成的，我们需要计算预测分数和建立混淆矩阵来了解模型的准确性。
pred<-fitted(blr) # 拟合只能用于获得生成模型的数据的预测分数。
我们可以看到，预测的分数是患心脏病的概率。但我们必须找到一个适当的分界点，从这个分界点可以很容易地区分是否患有心脏病。
为此，我们需要ROC曲线，这是一个显示分类模型在所有分类阈值下的性能的图形。它将使我们能够采取适当的临界值。
pred<-prediction(train$pred,train$target) perf<-performance(pred,"tpr","fpr") plot(perf,colorize = T,print.cutoffs.at = seq(0.1,by = 0.1))
通过使用ROC曲线，我们可以观察到0.6具有更好的敏感性和特异性，因此我们选择0.6作为区分的分界点。
pred1<-ifelse(pred<0.6,"No","Yes")
# 训练数据的准确性 acc_tr
从训练数据的混淆矩阵中，我们知道模型有88.55%的准确性。
现在在测试数据上验证该模型
predict(type = "response") ## type = "response "是用来获得患有心脏病的概率的结果。 head(test)
我们知道，对于训练数据来说，临界点是0.6。同样地，测试数据也会有相同的临界点。
confusionMatrix((pred1),target)
#测试数据的准确性.
检查我们的预测值有多少位于曲线内
auc@y.values
我们可以得出结论，我们的准确率为81.58%，90.26%的预测值位于曲线之下。同时，我们的错误分类率为18.42%。
Naive Bayes算法
在执行Naive Bayes算法之前，需要删除我们在执行BLR时添加的额外预测列。
#naivebayes模型 nB(target~.)
用训练数据检查模型，并创建其混淆矩阵，来了解模型的准确程度。
predict(train) confMat(pred,target)
我们可以说，贝叶斯算法对训练数据的准确率为85.46%。
现在，通过预测和创建混淆矩阵来验证测试数据的模型。
Matrix(pred,target)
我们可以得出结论，在Naive Bayes算法的帮助下生成的模型准确率为78.95%，或者我们也可以说Naive Bayes算法的错误分类率为21.05%。
决策树
在实施决策树之前，我们需要删除我们在执行Naive Bayes算法时添加的额外列。
train$pred<-NULL
rpart代表递归分区和回归树
当自变量和因变量都是连续的或分类的时候，就会用到rpart。
rpart会自动检测是否要根据因变量进行回归或分类。
实施决策树
plot(tree)
在决策树的帮助下，我们可以说所有变量中最重要的是CP、CA、THAL、Oldpeak。
让我们用测试数据来验证这个模型，并找出模型的准确性。
conMat(pred,targ)
我们可以说，决策树的准确率为76.32%，或者说它的错误分类率为23.68%。
随机森林
在执行随机森林之前，我们需要删除我们在执行决策树时添加的额外预测列。
test$pred<-NULL
在随机森林中，我们不需要将数据分成训练数据和测试数据，我们直接在整个数据上生成模型。为了生成模型，我们需要使用随机森林库
# Set.seed通过限制permutation来控制随机性。 set.seed(100) model_rf<-randomForest(target~.,data = heart) model_rf
在图上绘制出随机森林与误差的关系。
plot(model_rf)
红线代表没有心脏病的MCR，绿线代表有心脏病的MCR，黑线代表总体MCR或OOB误差。总体误差率是我们感兴趣的，结果不错。
结论
在进行了各种分类技术并考虑到它们的准确性后，我们可以得出结论，所有模型的准确性都在76%到84%之间。其中，随机森林的准确率略高，为83.5%。
