开发者社区> 问答> 正文

防作弊又何须每周评测一次

参见一些国际上的比赛,例如kaggle上很多比赛都是每天可以提交3~5次,怎么防止恶意根据结果调参呢?只用显示在部分测试样本上的成绩即可,最后公开在整个测试样本上的成绩


虽然这个比赛中,成绩并不是每个样本上的成绩的加和,但是还是可以设计一些策略,例如划分用户集合(实际上第一阶段我们拿到的数据就是从一个全的数据库中拿到的一个小的用户子集,并且在上面评测排名)

展开
收起
点点滴滴 2014-03-23 20:20:31 7552 0
6 条回答
写回答
取消 提交回答
  • Re防作弊又何须每周评测一次
    会不会有人请好多同学和朋友注册这个比赛,然后交不同的结果。前提是自己的数据已经很流弊。这样就把好多人给顶下去了。要是有查数据相似度的就行了。
    2014-03-25 00:56:14
    赞同 展开评论 打赏
  • Re防作弊又何须每周评测一次
    一天一测可以的,最后再扔个重新sample的数据集做最终成绩评测好啦。
    死刷的分分钟就哭了。
    线下评价还是得做,要不怎么“恶意调参”
    2014-03-24 13:50:42
    赞同 展开评论 打赏
  • Re防作弊又何须每周评测一次
    主办方在宣讲会时说好的把SEASON1也改成一天一交呢???
    2014-03-24 09:35:47
    赞同 展开评论 打赏
  • Re防作弊又何须每周评测一次
    真是很shit!
    2014-03-24 09:16:03
    赞同 展开评论 打赏
  • Re防作弊又何须每周评测一次
    说真的,每天一次或多次,刷的会更狠。
    你想啊,随便换个参数,就能交一次,没有太多的算法成本
    2014-03-24 00:18:55
    赞同 展开评论 打赏
  • Re防作弊又何须每周评测一次
    楼主说的太有道理了。
    一星期一次的确太少了,建议主办方提高一下每星期提交的次数。
    2014-03-23 21:07:04
    赞同 展开评论 打赏
滑动查看更多
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
千里之外,洞悉风险——网站安全即服务 立即下载
浅析WAF防御机制的非主流技术 立即下载
移动威胁和风险在长尾上的迁徙 立即下载