学界 | 当前机器学习成果真的可靠吗?伯克利&MIT新研究质疑基准测试集

简介:

近日,伯克利和MIT研究者发布的一篇名为《Do CIFAR-10 Classifiers Generalize to CIFAR-10?》的新论文提出了学界一个尖锐的问题:包括CIFAR10在内的知名基准测试集,都存在验证集过拟合问题。

这一论文引起了Keras之父François Chollet的关注与力挺,关于数据集的讨论在推特上一发不可收拾,包括Gary Marcus和François都连发数条推特对此问题进行了讨论。

在连续20几个小时的连续发推中,François Chollet肯定了这篇论文带来对过测试集拟合问题的思考,但是也提出了一些论文中不恰当的地方。

最后,大神也提出了自己的建议,通过高熵验证过程(如k-fold验证)来解决这个问题。

让我们先来看看这篇论文到底说了什么。

bc1ff8dfffa237ba84ed1249b26f24775b73b157

这篇论文创建了一组真正“未出现过”的同类图像来测量 CIFAR-10 分类器的准确率,以验证当前的测试集是否会带来过拟合风险。

论文中称,我们通常只能获取具备同样分布的有限新数据。现在大家普遍接受在算法和模型设计过程中多次重用同样的测试集。但显而易见的是,当前的研究方法论忽视了一个关键假设:分类器与测试集应该独立存在。

这种不独立带来了显而易见的威胁——研究社区可能会设计出只在特定测试集上性能良好,但无法泛化至新数据的模型。

大数据文摘微信公众号后台回复"过拟合"下载本篇论文

显而易见,目前深度学习领域的很多“标题党论文”,都存在验证集过拟合问题,包括CIFAR10在内的知名基准测试集。

77d8d1027e46500f664338b6e53e06bc0aebb0d6

大量“标题党”论文

François Chollet称很高兴在这篇论文《Do CIFAR-10 Classifiers Generalize to CIFAR-10?》看到对验证集过拟合的量化。从2015年以来,ImageNet数据集也存在这样的问题。

接下来的一天中,François Chollet之后还针对这一问题发表了很多评论。

以下为François Chollet推特部分内容:

17d8617a530caa998fa164500c9caec2497a5894

如果为了发论文,针对固定验证集,选择特定的方法、体系结构和超参,那么它就已经不再是验证集,而是训练集,而且不能保证选定方法能推广到真实数据。

很多深度学习研究并未遵循科学方法,验证集过拟合问题不容忽视。另外,使用弱基准测试集,很难将实验结果与论文提出的重大想法建立明确的联系(因为有的太多可变因素)。

同样,想要复现大多数论文中的模型或想法也很困难。例如实验结果的后选择、对比实验结果时缺乏显著性检验等问题。

假如你正在参加Kaggle比赛,如果你使用从训练集(包括public leaderboard)分离出来的固定验证集来评估你的模型/想法,那么你的模型在private leaderboard上的表现肯定很一般。学术研究同样如此。

François Chollet还提出了克服该问题的一个简单建议:用高熵验证过程(如k-fold验证),用带shuffling的递归k-fold验证更好。并且只在最终官方验证集上检验结果。

的确成本更高了,不过成本也是正则化项,迫使你尝试更少更明智的方法。

同时,François Chollet对前段时间引起轩然大波的文章,计算机视觉和 AI 领域专家 Filip Piekniewski的文章《AI Winter Is Well On Its Way》也发表了自己的见解:

自动驾驶汽车是一个很好的例子,因为在这种情况下,存在两种相互竞争的方法:一种是符号方法,另一种是深入学习方法,即通过端到端的学习。其中一种方法会到达L4,在一定程度上甚至会达到L5,另一种却永远达不到。

这并不是说深度学习本质上无法与无人驾驶相融合,而是因为状态空间维度极高,深度学习系统需要在系统运行的同一维度的密度抽样中进行训练。

由于这种具有代表性的密度抽样是不可取的,即使在大量利用模拟环境的情况下,符号方法也将占上风,具体来说,虽然这种方法大多是抽象性的,但却将人类抽象概念与学习的感知基元结合了起来。

让我们用François Chollet的一段话做结:

与大多数事物一样,科学也是一种不精确的艺术,一种靠知识创造的艺术。就像所有的艺术一样,它有我们应该遵循的精确规则。这些规则很容易被破坏,但你破坏的规则越多,你的努力也就越低效。(Science, like most thing, is an inexact art. The art of knowledge creation. And like any art, it has precise rules that one should follow. Any of these rules may be broken, but the more of them you break, the less effective your effort.)


原文发布时间为:2018-06-6

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的新篇章:AI与机器学习的融合
【7月更文挑战第31天】随着技术的进步,自动化测试领域正迎来一场革命。AI和机器学习的结合不仅为测试流程带来了效率上的飞跃,还极大地提升了测试的准确性和智能性。本文将深入探讨AI和机器学习如何重新定义软件测试的未来,包括它们在提高测试用例生成的智能化、优化测试执行过程、以及增强缺陷预测和分类能力方面的应用。通过分析当前的挑战与机遇,文章旨在为读者揭示这一趋势背后的潜力及其对传统测试实践的影响。
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的未来:AI与机器学习的融合
【9月更文挑战第29天】在软件测试领域,自动化测试一直是提高测试效率和质量的关键。随着人工智能(AI)和机器学习(ML)技术的飞速发展,它们正逐步渗透到自动化测试中,预示着一场测试革命的来临。本文将探讨AI和ML如何重塑自动化测试的未来,通过具体案例展示这些技术如何优化测试流程,提高测试覆盖率和准确性,以及它们对测试工程师角色的影响。
36 7
|
11天前
|
机器学习/深度学习 人工智能 数据挖掘
探索自动化测试的未来:AI与机器学习的融合
【9月更文挑战第29天】在软件测试领域,自动化测试一直是提高效率和准确性的关键。但随着技术的发展,特别是人工智能(AI)和机器学习(ML)的兴起,我们见证了一个新时代的到来——自动化测试的未来正逐渐被重新定义。本文将探讨AI和ML如何改变自动化测试的面貌,从智能测试脚本的生成到测试结果的深度分析,我们将一探究竟这些前沿技术是如何使测试流程更加智能化、高效化,并预测它们将如何塑造软件测试的未来趋势。
|
25天前
|
机器学习/深度学习 人工智能 测试技术
自动化测试的未来:AI与机器学习的融合之路
【9月更文挑战第15天】在软件测试领域,自动化一直被视为提高效率和精确度的关键。随着人工智能(AI)和机器学习(ML)技术的不断进步,它们已经开始改变自动化测试的面貌。本文将探讨AI和ML如何赋能自动化测试,提升测试用例的智能生成、优化测试流程,并预测未来趋势。我们将通过实际代码示例来揭示这些技术如何被集成到现有的测试框架中,以及开发人员如何利用它们来提高软件质量。
55 15
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的前沿:AI与机器学习的融合
【7月更文挑战第31天】在软件测试领域,传统的手动测试和脚本化自动化测试方法正逐渐让位于集成了人工智能(AI)和机器学习(ML)技术的先进解决方案。本文将深入探讨如何通过AI和ML技术提高自动化测试的效率、准确性和智能化水平,同时分析这些技术在实际测试中的应用案例及其对测试工程师角色的影响。
|
1月前
|
机器学习/深度学习 Python
训练集、测试集与验证集:机器学习模型评估的基石
在机器学习中,数据集通常被划分为训练集、验证集和测试集,以评估模型性能并调整参数。训练集用于拟合模型,验证集用于调整超参数和防止过拟合,测试集则用于评估最终模型性能。本文详细介绍了这三个集合的作用,并通过代码示例展示了如何进行数据集的划分。合理的划分有助于提升模型的泛化能力。
|
2月前
|
机器学习/深度学习 人工智能 运维
自动化测试的未来:AI与机器学习的融合
【8月更文挑战第29天】随着技术的快速发展,自动化测试正在经历一场革命。本文将探讨AI和机器学习如何改变软件测试领域,提供代码示例,并讨论未来趋势。
|
2月前
|
机器学习/深度学习 自然语言处理 算法
利用机器学习算法进行自动化测试
利用机器学习算法进行自动化测试
|
2月前
|
机器学习/深度学习 人工智能 算法
探索自动化测试的未来:AI与机器学习的融合
在软件测试领域,自动化一直是提高效率和准确性的关键。随着人工智能(AI)和机器学习(ML)技术的飞速发展,它们正在逐步改变自动化测试的面貌。本文将探讨AI和ML如何增强自动化测试的能力,提高其智能性、预测性和适应性,并分析这些技术为测试实践带来的潜在变化和挑战。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的未来:AI与机器学习的融合
在软件测试领域,自动化测试一直是提高效率和质量的关键工具。然而,随着技术的发展,尤其是人工智能(AI)和机器学习(ML)的兴起,我们看到了自动化测试的新机遇和挑战。本文将探讨AI和ML如何改变自动化测试的面貌,从智能测试脚本的生成到预测性分析的应用,以及这些技术如何帮助测试人员更有效地识别和解决问题。我们将通过具体案例和最新研究成果,深入理解这一趋势对软件测试实践的影响。