为了验证算法的准确性、帮助用户更好的使用EasyRec，我们做了大量的benchmark测试。我们还提供公开数据集、EasyRec配置文件，供用户更好的理解和使用EasyRec。
单目标数据集
Taobao 数据集介绍
- 该数据集是淘宝展示广告点击率预估数据集，包含用户、广告特征和行为日志。天池比赛链接
- 训练数据表：pai_online_project.easyrec_demo_taobao_train_data
- 测试数据表：pai_online_project.easyrec_demo_taobao_test_data
- 在PAI上面测试使用的资源包括2个parameter server，9个worker，其中一个worker做评估:
{"ps":{"count":2,
"cpu":1000,
"memory":40000},
"worker":{"count":9,
"cpu":1000,
"memory":40000}
}
- 测试结果
| model | global_step | best_auc | config |
| MultiTower | 1800 | 0.614680 | taobao_mutiltower.config |
| DIN | 1600 | 0.617049 | din.config |
| DeepFM | 1600 | 0.580521 | deepfm.config |
| DCN | 1500 | 0.596816 | dcn.config |
| BST | 3500 | 0.566251 | bst.config |
| AutoInt | 700 | 0.605982 | autoint.config |
Avazu CTR 数据集
- 该数据集是DSP广告公司Avazu在Kaggle平台举办的移动广告点击率预测模型挑战赛中使用的。Click-Through Rate Prediction比赛链接
- 训练数据表：pai_online_project.dwd_avazu_ctr_deepmodel_train
- 测试数据表：pai_online_project.dwd_avazu_ctr_deepmodel_test
多目标数据集
AliCCP 数据集
- 数据集采集自手机淘宝移动客户端的推荐系统日志，其中包含点击和与之关联的转化数据。天池比赛链接
- 训练数据表：pai_online_project.aliccp_sample_train_kv_split_score
- 测试数据表：pai_online_project.aliccp_sample_test_kv_split_score_1000w (只截取了1000万条)
- 在PAI上面测试使用的资源包括2个parameter server，9个worker，其中一个worker做评估:
{"ps":{"count":2,
"cpu":1000,
"memory":40000},
"worker":{"count":9,
"cpu":1000,
"memory":40000}
}
- 测试结果
| model | global_step | ctr auc | masked cvr auc | ctcvr auc | 训练时间 | config |
| SimpleMultiTask | 4100 | 0.592606 | 0.6306802 | 1小时 | simple_multi_task.config | |
| MMoE | 3100 | 0.5869702 | 0.6330008 | 1小时 | mmoe.config | |
| ESMM | 800 | 0.5974812 | 0.6841141 | 0.6362526 | 3小时 | esmm.config |
| PLE | 3200 | 0.5874 | 0.6159 | 2小时 | ple.config |
CENSUS
- CENSUS有48842个样本数据，每个样本14个属性，包括age, occupation, education, income等。样本的标注值为收入水平，例如>50K、<=50K。Census Income数据集链接
- 训练数据表：pai_online_project.census_income_train
- 测试数据表：pai_online_project.census_income_test
