关于数据切换

请问一下，是不是实际上提供下载的四个表格其实都没有改变，只是线上平台原来只评测ijcai2016_koubei_test中的一个子集，所谓“Evaluation set updates”是指测试时换了另一个子集？

换句话说，我们并不需要重新下载并更新赛题数据？

我有一个问题，为什么测试集更换会导致分数下降呢？
测试集中不一直是该用户在该地点12月份的购买商家集么？
难道之前的购买商家集并不是该用户在该地点12月份购买的商家全集？

引用楼主datamole于2016-05-24 15:48发表的 关于数据切换 :
请问现在数据已经更新了么？
[url=https://bbs.aliyun.com/job.php?action=topost&tid=282921&pid=tpc][/url]

Yes.

-------------------------

引用第2楼cstju于2016-05-24 17:29发表的 Re关于数据切换 :
我有一个问题，为什么测试集更换会导致分数下降呢？
测试集中不一直是该用户在该地点12月份的购买商家集么？
难道之前的购买商家集并不是该用户在该地点12月份购买的商家全集？

In stage1, we evaluate F1 score in half of the merchant set, which means we drop all records in respect of the other half during evaluation. In stage2, all merchants are involved into the evaluation. So if your submissions tend to overfit the purchase behaviors in stage1's merchants, they may fail to generalize in stage2's merchant set.


I have just checked the leaderboard and found that team "711" have got 0.435885, which is close to the top score in stage1. So just keep on trying new ideas. Good luck!

-------------------------

引用第3楼datamole于2016-05-24 21:07发表的 回 楼主datamole的帖子 :
请问一下，是不是实际上提供下载的四个表格其实都没有改变，只是线上平台原来只评测ijcai2016_koubei_test中的一个子集，所谓“Evaluation set updates”是指测试时换了另一个子集？

换句话说，我们并不需要重新下载并更新赛题数据？ [url=https://bbs.aliyun.com/job.php?action=topost&tid=282921&pid=790949][/url]

We evaluate on all records of "ijcai2016_koubei_test", not another subset.


You don't need to download or update any file or data. Just keep on improve the generalization of your model.