开发者社区> 问答> 正文

第一赛季结果评审建议

看见这么多小号占坑 颇有感慨


清华学子完美地展现了中国的 “世界一流大学” 的 学生竞争力


如何让小号没有意义?如何防止恶性调参过拟合?


每个账号一天可以测个10-20次
在最后一天把官方用来测试的数据全部换掉
然后以最后一天的成绩作为最终排名


当然官方的测试数据的分布状况不能变化太大

展开
收起
knight3323 2014-03-30 16:57:27 12071 0
12 条回答
写回答
取消 提交回答
  • Re第一赛季结果评审建议
    支持赞同~换数据。不过换数据的通知得全给到啊
    2014-04-05 22:20:23
    赞同 展开评论 打赏
  • 回13楼jxu的帖子
    希望认真考虑一下楼主的建议,还是很中肯有效的。用现在的数据给大家做算法测试,最后一天更换数据集,进行验证。
    2014-04-02 15:23:03
    赞同 展开评论 打赏
  • jxu
    设置Season 1的初衷是希望大家熟悉天猫的数据,通过小规模的样本集合进行充分的探索,业务理解、算法尝试和组队,筛选出一批真正参与进来的同学进入Season 2,到ODPS上对更大的数据进行处理。S2的最后阶段会更换新的数据,内部赛就是这样。从内部赛的进程看,S2规模的数据集上,甚至到最后一天,成绩还会有大幅提升。耗在一个模型上通过调参数的方式的提升是非常有限的。

    S1最多只是一个Tutorial,S2才是开始。
    2014-04-01 22:32:27
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    模仿Kaggle,设置Public和Private的排行榜可能是一个不错的主意。

    当然数据量较小,也只有3000多个正样本,可能受数据集分割影响会比较大
    2014-03-31 23:35:07
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    我有个想法,比赛进行一段时间过后。就把答案公布出来,然后接着预测下下个月的。最后结果只看最后三天的。然后最后三天死命抓小号!
    2014-03-31 22:25:41
    赞同 展开评论 打赏
  • 回1楼天猫得福的帖子
    如果最后统统换掉,还不如把现在训练集的结果也给大家,大家自己回去想试多少次就试多少次,做好算法最后用就行了,没必要搞排名了……和现在拿4-7月做训练,7-8做验证,最后统统换掉没什么区别了
    2014-03-31 20:42:33
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    都成笑话啦~

    -------------------------

    Re第一赛季结果评审建议
    要不要搞这么多小号啊。。。
    2014-03-31 11:33:09
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    现在开小号的人也很精明,不会再起多个类似的ID。。。
    2014-03-31 08:43:41
    赞同 展开评论 打赏
  • 回1楼天猫得福的帖子
    希望清除小号……而不希望改规则…改规则只是少部分人的吐槽…即使是现在这个情况,好好做算法一定能进s2……本来s1就是选拔赛,频繁改规则略显阿里业余……因此希望强力清除小号,完善s2规则……

    -------------------------

    回楼主knight3323的帖子
    实际上重头戏是在s2……只是测试进的s2,肯定做不出什么好的东西……而且只有成绩刺激,才会有好的算法吧……
    2014-03-31 08:33:54
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    说真的,我从一开始就不支持一天一侧。
    问题就是因为怕小号更多(比如我一个号推3000个 一个号推4000个 再改改参数,能查出来?)
    当然,一周一测的确是太少了,2-3次(比如周三周六周日)相对比较合适。
    另外,至于过度调参的问题。可以参考kaggle的做法。设置一个public排行榜还有一个private排行榜。public只取部分结果作为检查,private是取全部。而比赛结束前,我们只能看到public的排行榜,最后名次按private定
    2014-03-31 00:25:02
    赞同 展开评论 打赏
  • 回1楼天猫得福的帖子
    严重支持!!
    2014-03-30 22:08:18
    赞同 展开评论 打赏
  • Re第一赛季结果评审建议
    关于最后更换训练集和测试集,是一个很好的建议,我们会考虑的。
    2014-03-30 21:56:36
    赞同 展开评论 打赏
滑动查看更多
问答地址:
问答排行榜
最热
最新

相关电子书

更多
回归职业教育的本质:内容为王,质量至上,赢在口碑 立即下载
回归职业教育的本质 内容为王,质量至上,赢在口碑 立即下载
女性移动App安全攻防战 立即下载