ML之xgboost&GBM:基于xgboost&GBM算法对HiggsBoson数据集(Kaggle竞赛)训练(两模型性能PK)实现二分类预测

简介: ML之xgboost&GBM:基于xgboost&GBM算法对HiggsBoson数据集(Kaggle竞赛)训练(两模型性能PK)实现二分类预测

输出结

image.png

image.png


 

设计思

image.png

 

核心代


finish loading from csv

weight statistics: wpos=1522.37, wneg=904200, ratio=593.94

loading data end, start to boost trees

training GBM from sklearn

     Iter       Train Loss   Remaining Time

        1           1.2069           49.52s

        2           1.1437           43.51s

        3           1.0909           37.43s

        4           1.0471           30.96s

        5           1.0096           25.09s

        6           0.9775           19.90s

        7           0.9505           15.22s

        8           0.9264            9.94s

        9           0.9058            4.88s

       10           0.8878            0.00s

sklearn.GBM total costs: 50.88141202926636 seconds

training xgboost

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 1 thread costs: 24.5108642578125 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 2 thread costs: 11.449955940246582 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 4 thread costs: 8.809934616088867 seconds

[0] train-ams@0.15:3.69849

[1] train-ams@0.15:3.96339

[2] train-ams@0.15:4.26978

[3] train-ams@0.15:4.32619

[4] train-ams@0.15:4.41415

[5] train-ams@0.15:4.49395

[6] train-ams@0.15:4.64614

[7] train-ams@0.15:4.64058

[8] train-ams@0.15:4.73064

[9] train-ams@0.15:4.79447

XGBoost with 8 thread costs: 7.875434875488281 seconds

XGBoost total costs: 52.64618968963623 seconds

相关文章
|
1月前
|
数据采集 机器学习/深度学习 算法
【python】python客户信息审计风险决策树算法分类预测(源码+数据集+论文)【独一无二】
【python】python客户信息审计风险决策树算法分类预测(源码+数据集+论文)【独一无二】
|
1月前
|
机器学习/深度学习 算法
【Deepin 20系统】机器学习分类算法模型xgboost、lightgbm、catboost安装及使用
介绍了在Deepin 20系统上使用pip命令通过清华大学镜像源安装xgboost、lightgbm和catboost三个机器学习分类算法库的过程。
25 4
|
2月前
knn增强数据训练
【7月更文挑战第27天】
26 10
|
2月前
|
数据采集 编解码 人工智能
破解ChatGPT惊人耗电!DeepMind新算法训练提效13倍,能耗暴降10倍
【7月更文挑战第19天】DeepMind的JEST算法革新AI训练,提升效率13倍,节能10倍。通过联合数据批次选择,预训练指导及多分辨率训练,优化资源利用,降低能耗。实验显示性能提升,达到SOTA水平,但实施需大量资源,依赖优质参考模型。[论文链接](https://arxiv.org/pdf/2406.17711)
52 10
|
2月前
knn增强数据训练
【7月更文挑战第28天】
19 2
|
30天前
|
算法 搜索推荐
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
|
2月前
|
人工智能 边缘计算 算法
破解ChatGPT惊人耗电!DeepMind新算法训练提效13倍,能耗暴降10倍
【7月更文挑战第20天】DeepMind unveils Switch Transformer, revolutionizing AI energy consumption. This novel algorithm boosts training efficiency by 13x and slashes energy use by 10x compared to ChatGPT, marking a significant leap towards eco-friendly AI.
35 2
|
1月前
|
存储 算法
【C算法】编程初学者入门训练140道(1~20)
【C算法】编程初学者入门训练140道(1~20)
|
2月前
|
搜索推荐 C++ Python
Python排序算法大PK:归并VS快速,谁才是你的效率之选?
【7月更文挑战第13天】归并排序** 使用分治法,稳定且平均时间复杂度O(n log n),适合保持元素顺序和并行处理。
22 5
|
3月前
|
机器学习/深度学习 算法
**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。
【6月更文挑战第28天】**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。数据从输入层流经隐藏层到输出层,计算预测值。接着,比较预测与真实值计算损失。然后,从输出层开始,利用链式法则反向计算误差和梯度,更新权重以减小损失。此过程迭代进行,直到损失收敛或达到训练次数,优化模型性能。反向传播实现了自动微分,使模型能适应训练数据并泛化到新数据。
52 2