研究机器学习的人类们,通常喜欢把研究成果发上ArXiv。
不过,ArXiv上面没有讨论板,公开讨论场所多集中在Reddit和推特上。而社交平台又无法提供纯粹的学术环境,讨论过程中很容易歪楼。
现在,纽约大学的小伙伴们,建起了一个公开的ArXiv论文同行评审网站,叫GroundAI。
他们希望,给机器学习领域的研究,带来一些更有价值的学术探讨。从事AI研究的人类,可以分享对某篇论文的看法和建议,促进研究;
还希望,GroundAI未来能够为各种会议的论文评审提供一些依据。
标语是:每一篇ArXiv论文,都需要被讨论。
这个平台什么样?
GroundAI平台会比较及时地更新ArXiv论文,以列表形式呈现,可以直接按时间顺序观察。当然,也可以选择具体的研究领域来浏览,比如视觉、语言、机器人……
点进一篇论文,就可以发表自己的意见,探讨论文的研究方法、实验和数据等等。
遇到有意义的讨论,还可以追踪一波,关注后续进展。
现在的人类,讨论研究成果的场所,通常是Reddit和推特这样的社交平台。
不过,纽约大学数据科学中心 (CDS) 的小伙伴们觉得,这些现有的社区都不是很纯粹,讨论容易歪楼。
比如,说着说着重点就转移到“美女科学家”之类的奇怪话题上面。
团队认为,机器学习的研究人员需要一个更专注的环境,支持各种学术观点的表达。目的是促进学术讨论。
除了让更多的人,深入了解某项研究的细节之外,团队也希望志同道合 (比如研究方向相似) 的人类,可以在讨论中互相提供灵感,推动研究的进展。
当然,这里也不是只能讨论AI研究,像统计、医疗健康、物理等等研究领域,只要是能和AI发展产生关联的研究,都是欢迎的。
GroundAI的利弊在哪里?
不过,人们选择在Reddit、推特这样的社交网络上讨论研究成果,自然也有他们的道理:
在用户众多的成熟平台上,更加容易吸引其他人来发表看法,或者答疑解惑。
如果改用GroundAI,存在感可能就没有那么强,说了话也不一定有人听得到。
△清冷的世界,有乌鸦飞过
毕竟,这是一个很年幼的讨论平台,不会在短时间内就变得很热闹,还需要时间成长。
不过,GroundAI团队说,牺牲一些存在感,或许可以换来高质量的学术讨论。原因有二:
一是,这个平台只面向学术圈,并且实行严格的内容政策:规定怎样才算是有价值的贡献 (Valuable Contributions) 。
二是,讨论内容与预印本一同存储,并且所有人都可以访问,保障了透明度。至于透明度是针对哪个层面讲的,请往下看。
能改善同行评审的现状?
目前,机器学习领域的许多会议,都使用同行评审。但高质量的同行评审比较稀缺,会议论文的评审也时常引起争议。
上周,人工智能顶会AAAI 2019放榜,国内某知名高校的博导论文被拒,实名投诉至组委会,质疑同行评审不专业。
Ian GoodFellow也曾经嘲讽同行评审机制不靠谱:
对于难以区分客观阐述和猜想、难以判断论文效果好的原因、数学语言混淆等等现状,同行评审会让这些缺陷变本加厉。
而如果GroundAI里面的互动,可以成为学术记录的一部分,这样就可能为论文评审提供一些依据。
上文所说的“透明度”,针对的就是这一潜在功能。
听上去路还很长,不知道能不能走通。
不过,想让同行评审更科学,这样的愿望倒是近在眼前。
原文发布时间为:2018-11-6
本文来自云栖社区合作伙伴“机器学习算法与Python学习”,了解相关信息可以关注“机器学习算法与Python学习”。