ML之xgboost&GBM:基于xgboost&GBM算法对HiggsBoson数据集(Kaggle竞赛)训练(两模型性能PK)实现二分类预测

简介: ML之xgboost&GBM:基于xgboost&GBM算法对HiggsBoson数据集(Kaggle竞赛)训练(两模型性能PK)实现二分类预测

输出结

image.png

image.png


 

设计思

image.png

 

核心代


finish loading from csv

weight statistics: wpos=1522.37, wneg=904200, ratio=593.94

loading data end, start to boost trees

training GBM from sklearn

     Iter       Train Loss   Remaining Time

        1           1.2069           49.52s

        2           1.1437           43.51s

        3           1.0909           37.43s

        4           1.0471           30.96s

        5           1.0096           25.09s

        6           0.9775           19.90s

        7           0.9505           15.22s

        8           0.9264            9.94s

        9           0.9058            4.88s

       10           0.8878            0.00s

sklearn.GBM total costs: 50.88141202926636 seconds

training xgboost

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 1 thread costs: 24.5108642578125 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 2 thread costs: 11.449955940246582 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 4 thread costs: 8.809934616088867 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 8 thread costs: 7.875434875488281 seconds

XGBoost total costs: 52.64618968963623 seconds

相关文章
|
12月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1125 6
|
10月前
|
机器学习/深度学习 算法 数据可视化
利用SVM(支持向量机)分类算法对鸢尾花数据集进行分类
本文介绍了如何使用支持向量机(SVM)算法对鸢尾花数据集进行分类。作者通过Python的sklearn库加载数据,并利用pandas、matplotlib等工具进行数据分析和可视化。
827 70
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】38. Pytorch实战案例:梯度下降、随机梯度下降、小批量随机梯度下降3种优化算法对比【含数据集与源码】
【从零开始学习深度学习】38. Pytorch实战案例:梯度下降、随机梯度下降、小批量随机梯度下降3种优化算法对比【含数据集与源码】
|
搜索推荐 C++ Python
Python排序算法大PK:归并VS快速,谁才是你的效率之选?
【7月更文挑战第13天】归并排序** 使用分治法,稳定且平均时间复杂度O(n log n),适合保持元素顺序和并行处理。
97 5
|
存储 算法 Java
Java数据结构与算法:用于高效地存储和检索字符串数据集
Java数据结构与算法:用于高效地存储和检索字符串数据集
|
27天前
|
数据采集 分布式计算 并行计算
mRMR算法实现特征选择-MATLAB
mRMR算法实现特征选择-MATLAB
93 2
|
2月前
|
传感器 机器学习/深度学习 编解码
MATLAB|主动噪声和振动控制算法——对较大的次级路径变化具有鲁棒性
MATLAB|主动噪声和振动控制算法——对较大的次级路径变化具有鲁棒性
164 3
|
17天前
|
机器学习/深度学习 算法 机器人
【水下图像增强融合算法】基于融合的水下图像与视频增强研究(Matlab代码实现)
【水下图像增强融合算法】基于融合的水下图像与视频增强研究(Matlab代码实现)
|
17天前
|
机器学习/深度学习 算法 机器人
使用哈里斯角Harris和SIFT算法来实现局部特征匹配(Matlab代码实现)
使用哈里斯角Harris和SIFT算法来实现局部特征匹配(Matlab代码实现)
101 8
|
17天前
|
机器学习/深度学习 算法 自动驾驶
基于导向滤波的暗通道去雾算法在灰度与彩色图像可见度复原中的研究(Matlab代码实现)
基于导向滤波的暗通道去雾算法在灰度与彩色图像可见度复原中的研究(Matlab代码实现)