Python3入门机器学习 - 集成学习-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

Python3入门机器学习 - 集成学习

简介: 集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。 #准备数据 X,y = datasets.

集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。

#准备数据
X,y = datasets.make_moons(noise=0.3,n_samples=500,random_state=42)

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

#逻辑回归预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)
log_reg.score(X_test,y_test)

#SVM预测
from sklearn.svm import SVC
svc = SVC()
svc.fit(X_train,y_train)
svc.score(X_test,y_test)

#决策树预测
from sklearn.tree import DecisionTreeClassifier
dec_clf = DecisionTreeClassifier()
dec_clf.fit(X_train,y_train)
dec_clf.score(X_test,y_test)

y1_predict = log_reg.predict(X_test)
y2_predict = svc.predict(X_test)
y3_predict = dec_clf.predict(X_test)

#使用集成学习的方法决定最终预测结果
y_predict = np.array((y1_predict+y2_predict+y3_predict)>=2,dtype='int')

img_ee49e00d9bbea95db7c5641d7f7d05b7.png


使用sklearn中的VotingClassifier
from sklearn.ensemble import VotingClassifier

voting_clf = VotingClassifier(estimators=[
    ('log_clf',LogisticRegression()),
    ('SVM',SVC()),
    ('dec_clf',DecisionTreeClassifier())
],voting='hard')    #hard为少数服从多数的集成学习方式
voting_clf.fit(X_train,y_train)
voting_clf.score(X_test,y_test)


Soft Voting
img_2e116d8f3d9e7e8128e016ed478df0d9.png
Soft Voting这种方式必须要模型具有预测概率的能力,例如逻辑回归算法本身就是基于概率做分类的,而knn算法一类的非参数学习方法,也可以根据样本数据预测概率,SVM算法可以将probablity属性设置为True以支持概率预测。
voting_clf2 = VotingClassifier(estimators=[
    ('log_clf',LogisticRegression()),
    ('SVM',SVC(probability=True)),
    ('dec_clf',DecisionTreeClassifier(random_state=666))
],voting='soft')

voting_clf2.fit(X_train,y_train)
voting_clf2.score(X_test,y_test)


使用Bagging产生大量子模型的集成学习方法

让每个子模型只看数据的一部分,用放回取样的方式来训练大量的子模型,作为集成学习的方法。

from sklearn.ensemble import BaggingClassifier

#创建Bagging集成学习的参数
#使用DecisionTreeClassifier()作为子模型,决策树作为子模型更容易创建子模型间的差异性,对于Bagging这种方式的集成学习来说,决策树是相对较好的子模型选择
#max_samples决定每个子模型最多参考样本数据量
#n_estimators决定生成多少个子模型
#bootstrap决定采用放回抽样还是不放回抽样,True为放回抽样
bagging_clf = BaggingClassifier(DecisionTreeClassifier(),max_samples=100,n_estimators=500,bootstrap=True)

上例为对样本进行随机采样,但对于Bagging,其实有更多的方法可以进行采样来创建子模型


img_a1d0ddc6d98638cd2390a9c1d0bcc410.png
Random Subspaces

#max_features设置随机取的最大样本特征数量
#bootstrap_features设置对特征进行放回或不放回取样
#oob_score设置对所有样本进行采样,不分离训练和测试数据集,而在随机采样中所有没有被采样的数据作为测试集使用
random_subspaces_clf = BaggingClassifier(DecisionTreeClassifier(),max_samples=500,n_estimators=500,bootstrap=True,
                                        max_features=1,bootstrap_features=True,n_jobs=-1,oob_score=True)
random_subspaces_clf.fit(X,y)
random_subspaces_clf.oob_score_
Random Patches

random_patches_clf = BaggingClassifier(DecisionTreeClassifier(),max_samples=100,n_estimators=500,bootstrap=True,
                                        max_features=1,bootstrap_features=True,n_jobs=-1)
random_patches_clf.fit(X,y)
random_patches_clf.oob_score


随机森林

from sklearn.ensemble import RandomForestClassifier

rf_clf = RandomForestClassifier(n_estimators=500,oob_score=True)
rf_clf.fit(X,y)
rf_clf.oob_score_
Extra Trees
from sklearn.ensemble import ExtraTreesClassifier

et_clf = ExtraTreesClassifier(n_estimators=500,oob_score=True,n_jobs=-1,bootstrap=True)
et_clf.fit(X,y)


Boosting


img_62004ae9eba5479ebb89b0004c85c695.png
Ada Boosting思路,对每次学习后,无法较好拟合的数据点,在下次拟合过程中,增加这些数据点的权重,依次循环生成子模型
from sklearn.ensemble import AdaBoostClassifier

ada_clf = AdaBoostClassifier(DecisionTreeClassifier(),n_estimators=500)
ada_clf.fit(X_train,y_train)
ada_clf.score(X_test,y_test)
img_de2ae0923175018bc24766ceea5e9d2c.png
Gradient Boosting思路,对于上次拟合错误的数据点,给与下一个模型专门训练,依次循环
#GradientBoostingClassifier本身基于决策树进行,因此不需要设置best_estamitor
from sklearn.ensemble import GradientBoostingClassifier
ada_clf = GradientBoostingClassifier(n_estimators=500)
ada_clf.fit(X_train,y_train)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章