淘汰赛制可能不妥的地方
今天知道阿里比赛突然修改规则为淘汰赛制，和朋友讨论了下，觉得可能有如下几点不妥的地方：
1.使得最后的换数据集防止过拟合变得无意义
参赛队伍为了得到下个月的入场券，会拼命过拟合和扫雷，而不是考虑如果换数据集后能得到一个好的成绩。毕竟下个月都不能参赛了，考虑那么久也没意义。
如此使得算法竞争并不能得到良性发展。
2.缺少分布式平台学习的缓冲期
并不是所有队伍对于分布式平台都非常熟悉，3个月的赛季使得选手能够充分熟悉odps平台，甚至自己书写MR算法包上传实验新算法。
但是目前的设置使得不熟悉分布式平台的选手在地一月会迅速出局，而这显然是与主办方原始的促进参赛队伍学习算法，研究更好算法的目的相违背的。
3.频繁修改规则有损主办方的公信
说实在，以前频繁修改规则，是为了比赛的公平公正，参赛队伍虽然有不满情绪，还是可以接受的。
而目前的赛季二突然修改规则，是一种有损主办方的公信的行为，这在大多数比赛中，可以说是前所未见的。
综上所述，这样的规则一方面并不能促进比赛的公平公正，另一方面使得队伍的算法设计也朝着不好的方向发展，也是对部分不熟悉分布式平台的同学的不公平（可能需要2到3周熟悉分布式并行算法），更损伤了阿里的公信力。
当然，如果主办方希望这样加剧选手的竞争和对于比赛的投入力度，我们也会没有怨言全力以赴，只是估计会出乱子，如同赛季1后期。还请主办方三思。
也欢迎其他队伍的小伙伴一起回帖讨论，我个人意见的偏颇之处也请大家多包涵，愿大家都能在赛季2中有所学习，做出更好的推荐^_^
写回答
-
-
-
Re淘汰赛制可能不妥的地方是啊，我感觉资源应该够用啊。才500台虚拟机。对于阿里来说小意思。不应该实行淘汰制。那样的话，五一长假我们都不能玩了，只能拼命的学习了。2014-04-25 08:40:43赞同 展开评论 打赏
-
Re淘汰赛制可能不妥的地方6月初有NIPS deadline（机器学习与ICML并列的最重要会议）
6月中有ICDM deadline（数据挖掘比较重要的会议）
感觉这两块的很多同学5月份淘汰赛确实不能放开玩2014-04-25 08:36:15赞同 展开评论 打赏 -
-
回22楼一婷的帖子希望多从参赛者的角度考虑一点……这个要求真的不过分吧……唉
不过还是赞一下这段时间官方几位负责人的辛苦付出，虽然希望付出能有更好一点的结果……对双方都是。2014-04-24 23:54:49赞同 展开评论 打赏 -
-
回11楼一婷的帖子不过 有一点哦 既然赛制是提前定好的 那么一开始就公布 也无伤大雅吧 藏着掖着怎么想都不像一个大公司的做派2014-04-24 23:15:49赞同 展开评论 打赏
-
回11楼一婷的帖子你们是否可以多从参赛者的角度考虑比赛规则的制定，是这次比赛的参赛者而不是你们内部赛的参赛者。当然你们是比赛的组织方，规则怎么订也就算了，是否能一开始就把规则说的清楚一点，或者最起码不要让大家对规则误解太多，你们一开始就这样定的规则，却到现在说，你们知道会让我们对规则造成误解的。"这次大赛的初始想法，仅仅是希望在推荐这个圈子里，大家一起玩玩这个题目" ,反正是无力吐槽，还是滚去抓紧学吧。2014-04-24 23:11:19赞同 展开评论 打赏
-
Re淘汰赛制可能不妥的地方如果理由是要让留存的队伍发挥水平，完全可以让他们在season3好好发挥。就3个队伍，完全可以发挥。
变化有点大。
突然
引用第22楼一婷于2014-04-24 23:01发表的 :
18楼的同学，先别纠结这些点了，你说的这些建议我们都知道，等你上ODPS玩了海量数据以后，自然会有答案的。
天池科研平台本身就是为大家提供的一个学习平台，后续会向学术界开放，我们欢迎大家来学习和交流，也给我们新的启发。所以，使用天池平台的机会不是仅仅这次的大赛。
但比赛毕竟是个比赛，我们希望能给予最后留存队伍发挥出最大能量的空间，所以对不起了，我内心也非常抱歉。
-------------------------
回37楼一婷的帖子坚持不了的队伍和混的队伍，本来也用不了多少资源。何必淘汰他们。个人认为作为主办方只要寻求的公平公正就可以，不应该变化规则来主观的淘汰一些人，让他们自然的退去就可以了。
学不明白ODPS的队伍，或者没好好学的人，和那些没有热情的人，自然会走的。
2014-04-24 23:09:55赞同 展开评论 打赏 -
回22楼一婷的帖子第一个理由的逻辑很奇怪，赛制提前公布会影响不能进入下一阶段的人？那前夕公布就不会影响下一阶段的人了么？
第二个理由的假设是第一个月有很多人不会用odps那就淘汰了，不要浪费资源好了，那么要是大家会用了，那么这条理由还能成立么，淘汰掉那些人呢？2014-04-24 23:03:04赞同 展开评论 打赏 -
-
回11楼一婷的帖子“第一个月淘汰的100支队伍应该是没有成功入门ODPS的参赛队。”
可是，你有考虑过时间的问题么？？今早上，导师跟我说5.10要投篇论文，就意味着我们组减员了一个，平时还有课程、作业啥的。。。说好的7月30日见终章，我们自己也会把握时间。现在，我们都没时间在第一个月投身这件事，你就说我们搞不定ODPS，这不是玩我们么？！2014-04-24 22:57:08赞同 展开评论 打赏 -
-
回11楼一婷的帖子不好…这样真的不好。
淘汰也行，淘汰一个baseline来…都比末尾淘汰100好……
而且也不能肯定地说扫雷会一定不存在。都说了最后才换数据集，那每个月的也要一样啊……不然，真的不能肯定……
再次，不管你提醒了什么，突然改变就是对选手的不尊重。2014-04-24 22:44:59赞同 展开评论 打赏 -
回11楼一婷的帖子第三季的赛制是显示的写明了到时候再公布（“组委会将在Season 2结束后公布细则”），第二季貌似没有吧，都说的明明白白的，也没有说到时候再公布什么的。。。
-------------------------
Re淘汰赛制可能不妥的地方做好服务器的配额限制，应该不至于出现烂队的程序挤掉了好队的程序吧。。。2014-04-24 22:42:51赞同 展开评论 打赏 -
回11楼一婷的帖子第一眼看到淘汰制的时候我就想到了主办方应该是考虑计算资源的问题，所以支持主办方的决定，有压力才有动力，且玩且珍惜。。。2014-04-24 22:40:55赞同 展开评论 打赏
-
-
冒着被狠虐的风险，说两句，请大家轻拍~~~
首先，说一下实际情况：淘汰制不是一时想到的，是组委会从一开始就坚定的，只是我们没有写在赛制说明里，是想着到了第二赛季前夕再公布，如同第三赛季的赛制也未公布一样，因为只会影响到进入这一阶段的同学。前几天，在看大家热火朝天讨论最终评测方式的时候，我还想着，公布了淘汰制后估计论坛会炸锅了，果然，还超出想象T_T
那说说为什么要设置淘汰制吧，这个是我们在做内部赛时候的总结。任何分布式集群，无论规模有多大，资源总是有限的。说得不好听一点，很可能某个队伍提交一个写得烂一点的job，就会耗掉其他参赛者的计算资源，虽然我们这段时间做了很充分的准备和预案，不至于这种情况会发生，但还是希望能把尽可能多的计算资源留给勤奋、想认真参加比赛的团队。
你们可以试想一下，如果不设置淘汰制，大家的学习进度完全不一样，尤其是到了最后时刻，某些参赛队已经在发力冲刺了，另外一些参赛队才刚刚入门，提交各种入门级程序会影响其他参赛队的进度。
另外，懒惰同学提到参赛队伍为了得到下个月的入场券，会拼命过拟合和扫雷，这点明天大家登陆进天池平台的时候就会发现一个真相了，上亿条数据没那么容易拟合。而且，通过我们前期的测试，有hadoop基础的同学入门ODPS的周期在一周以内（这也是我们之前提示大家学习分布式平台的原因），没有hadoop基础的同学需要一个月能操作分布式平台（所以一直提醒大家组队呀，有分工，有人学习分布式平台，有人研究算法和模型）。
第一个月淘汰的100支队伍应该是没有成功入门ODPS的参赛队。大家有不同意见希望善意的探讨~~~-------------------------
18楼的同学，先别纠结这些点了，你说的这些建议我们都知道，等你上ODPS玩了海量数据以后，自然会有答案的。
天池科研平台本身就是为大家提供的一个学习平台，后续会向学术界开放，我们欢迎大家来学习和交流，也给我们新的启发。所以，使用天池平台的机会不是仅仅这次的大赛。
但比赛毕竟是个比赛，我们希望能给予最后留存队伍发挥出最大能量的空间，所以对不起了，我内心也非常抱歉。-------------------------
别把关注点放这上面啦，学习ODPS去吧。
TOP500中绝对有很多坚持不了一个月的队伍，也绝对有一些混迹进第二赛季的队伍，我们最后肯定也会在的淘汰队伍数量方面有人性化和综合的考虑，谁想放弃优秀的学生呢？2014-04-24 22:30:19赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
