云栖社区直播个人页面-阿里云开发者社区

机器学习正遭遇“可重复性危机”，或已成“炼金术”？

作者 | Matthew Stewart编译 | JocelynWang “科学的第一个原则是你不能愚弄自己，然而你自己却是最容易被愚弄的人。” —— 理查德 · 费曼机器学习以其特有的优势逐渐在科学研究中得到大量应用，然而，其内在的“黑箱”特点也带来了一系列问题，有研究者认为正是机器学习的这种不可解释性导致了当下科学研究的“可重复性危机”——如果科学不可重复，那么我们还能称之为真正的科学吗？与此同时，更有研究者声称机器学习已经成为一种“炼金术”。本文基于机器学习所带来的“可重复性危机”，从“是什么”、“为什么”以及“如何做”三个层次进行了阐述，为这一危机寻找出路：可重复性和可解释性的机器学习模型。一、什么是“可重复性危机”？ “如今科学界的研究人员普遍意识到存在一种“可重复性危机”（Reproducibility Crisis）。我敢说，这其中很大一部分都来源于机器学习技术在科学中的应用。”—— Genevera Allen 莱斯大学统计与电气工程系教授机器学习方法正在取代传统的统计方法，越来越普遍地被应用到科学研究过程中，这会给科学界及其对知识的追求带来什么影响呢？一些人认为，正是机器学习技术的“黑箱”导致了科学研究的“可重复性危机”。毕竟，如果科学不可重复，那我们是否还能称之为真正的科学吗？（声明：本文是我自己基于参考文献中所参考的材料发表的一些观点。这是学术界的一个有争议的领域，欢迎大家进行建设性辩论。）科学过程的生命周期机器学习（ML）在科学研究中似乎已经无处不在，甚至在很多领域中已经替代了传统的统计方法。虽然通常来说，ML技术更易于用作分析的一项工具，但它内在的“黑箱”特点给科学家在追求真理的过程中造成了一些严重的问题。科学界的“可重复性危机”是指是指惊人数量的研究结果无法在另一组科学家团队进行的同一个实验中实现重复。这可能就意味最初的结果是错误的。一项研究表明，在全世界所有进行过的生物医学研究中，有多达 85% 的研究结果都是徒劳无获的。关于“可重复性危机”的争论可能是学术界中最接近机器学习和统计学学科间的斗争的一次争论。一位人工智能研究员甚至在一篇科学文章中声称，机器学习已经成为一种“炼金术”。（相关阅读链接：https://www.sciencemag.org/news/2018/05/ai-researchers-allege-machine-learning-alchemy?）他关于这个话题的一些论文和博客文章，都非常值得一读，比如：“大型尺度核机器的随机特征”，文章链接为：https://people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf ML成为了科学研究一项很好的补充，使其在研究中的应用变得不可避免。ML可以被视为一个工程任务——就像一条集建模、调参、数据预处理和与元素优化于一体的流水线。ML 的目的就是寻找最优解或最优预测，而这属于科学研究的一项子集。机器学习的类型和算法本身就是科学研究的议题。与过去的统计方法一样，现在研究者们正在撰写大量各类 ML 算法和 ML 算法子类相关的科研论文。 2019年 2 月，Genevera Allen 在美国科学进步协会（AAAS）上发出了一个严重警告：科学家们正在学习基于机器学习算法来发现数据中的模式，即使这些算法只是专注于在另一个实验中无法重复的噪音。这一挑战涉及多个学科，因为机器学习在天文学、基因组学、环境科学和医疗保健等多个领域都被应用于获取发现。其中，Genevera Allen 使用的最主要的例子是基因组数据，这些数据通常是数据量非常巨大的数百 GB 或数个 TB 的数据集。她指出，当科学家使用自己不太了解的 ML 算法对基因组图谱进行聚类分析时，常常会出现似是而非、不可重复的结果。直到另一个团队进行了类似的分析研究，并得出了完全不同的结果，这才使得之前的结果变得有争议且被人质疑。这其中可能有多种原因：1.缺乏算法知识2.对数据缺乏了解3.对结果的曲解二、造成“可重复性危机”的原因 1、算法知识的欠缺缺乏算法知识的现象在机器学习应用领域显得极为普遍。如果你不明白一个算法是如何产生结果的，那又怎么能确定它有没有作弊，或者其得到的变量间相关性的结果实际上是虚假的呢？由于参数太多（深度神经网络通常有数百万个参数），这是神经网络中的一大问题。而实际上用于记数的不仅仅有参数，还有超参数，包括学习率、初始化策略、迭代次数和网络结构等项。仅仅意识到自己缺乏算法知识是不足以解决这个问题的。如果不同研究的论文中使用的是不同的网络，你又如何将这些结果进行比较？由于高维神经网络损失函数的动态结构图具有高度复杂性，即使只增加一个额外变量或改变一个超参数也会对结果产生显著的影响。 2、对数据缺乏了解缺乏数据知识也是一个巨大的难题，但这一问题可以延伸到传统的统计技术方法。数据采集中的误差——如量化误差、测量不确定性和智能体变量的使用，这是主要的问题。次优数据也常常会造成一些问题，但是了解什么样的数据适合使用什么样的算法也是非常重要的，并且这一选择可能会对结果产生重大影响。一次简单的回归检验就可以很轻松地证明这一点。通常地，在实验中会出现参数多于数据点的现象（这在基因组学中是非常正常的，因为我们有很多基因，很少数据点），如果我们使用线性回归方法，那么我们选择的正则化方式会严重影响被视作为重要的参数。如果我们使用套索回归（ LASSO Regression），该回归方法趋向于将明显不重要的变量统统变为零，从而从回归中将它们消除并提供一些变量选择。如果我们使用岭回归（ Ridge Regression），该回归方法倾向于将这些不重要的参数缩小到足够小，以至于它们可以忽略不计，但同时将它们从数据集中删除也是有必要的。如果我们使用弹性网络回归（ Elastic Net Regression，套索回归和岭回归的组合），我们将再次得到非常不同的答案。如果我们不使用任何回归，那么由于我们有比数据点更多的变量，算法显然会使得数据过拟合，因此算法将繁琐地对所有数据点进行拟合。显然，在线性回归中，可以通过置信区间、p-检验等统计测试来评估它的准确性。然而，对于神经网络来说，这些评估方式只能是一种奢侈的幻想，是不存在的。那么我们怎样才能确定我们通过神经网络得来结论的准确性如何呢？我们目前所能做的就是详细的陈述模型的架构和超参数，并将代码开源，以供其他科学家进行分析或对这个模型重新使用。 3、对结果的误解对结果的误解在科学界很常见。其中一个原因是相关性并不意味着因果关系，一般来说，两个变量A和B可能存在关联的原因有以下几点： 1）A可能是由B的出现引起的 2）B可能是由A的出现引起的 3）A和B可能是由另一个混杂变量C引起的 4）A和B可能是伪相关性两值间的相关性很容易显现出来，但产生这种结果的原因很难确定。通过在谷歌上输入伪相关性，你可以找出一些看起来非常有趣但明显十分荒谬的具有统计意义相关性例子，比如：这些似乎都是十分荒谬的相关性例子，但我想指出的是，如果将这些变量放到提供给机器学习算法进行训练的数据集中，则该算法不会考虑所述因果关系的有效性或者提出任何问题，而是很轻易地接受此相关性作为因果变量。从这个角度看，该算法很可能是不准确或者错误的，因为软件只负责识别出仅存于该数据集而不是现实世界中的模式。伪相关性的出现，正是由于人们越来越普遍地使用一些具有成千上万个变量的大型数据集。而近几年来，伪相关性发生的频率也变得惊人的多。如果我有上千个变量和数百万个数据点，那么这些数据之中不可避免的会出现相关性。算法可以锁定这些因素并将其认定为因果关系，从而有效地执行无意识的 p-hacking，而 p-hacking 是一项还没有在学术界得到认可的技术。 1、什么是 p-hackingp-hacking的做法包括获取数据集以及尽可能全面地搜索其中具有统计学意义的相关性，并将这些相关性视为科学有效。你拥有的数据越多，就越有可能在两个变量之间找到伪相关性。通常来说，科学研究包括了提出假设、收集数据以及通过对数据进行分析以确定假设是否有效。p-hacking 所做的是先进行一个实验，然后通过既得实验结果形成事后假设来解释它们所获得的数据。这样做本身是没有恶意的，但是有些时候，科学家们这么做仅仅是为了让他们能够发表更多的论文。 2、增强相关性机器学习算法的另一个问题是算法必须能够做出预测，这就好比算法不能在最后说“我什么都没找到”。这种算法框架的脆弱性意味着，无论最终特征结果多不合适，它总能找到某种可以用来解释数据的方法（需要在算法和数据正确设置的前提下实现，否则可能无法收敛）。目前，我还没听过哪个机器学习算法能够返回用户并告诉他们数据是不合适的，这项工作已经被暗定为科学家的任务——而这并不是什么公平的假设。 “那为什么还使用机器学习呢？” 这是一个很好的问题。机器学习使数据集的分析变得简易，并且 ML 算法可以帮助用户进行大量的工作。在由于数据集太大而无法使用标准统计技术进行有效分析的领域中，这一点就变得弥足珍贵。尽管它加速了科学家的工作进度，但是机器学习在预测质量上存在的问题足以抵消机器学习带来的生产效率上的提高。三、下一步可以做什么？机器学习的前景也并非完全黯淡无光。传统统计方法和数据集也一直存在着类似的问题，只是在机器学习中这些问题由于大型数据集和算法的大量使用而被放大了。这些数据集和算法可以自动找到数据的相关性，与传统技术相比，使得我们更难对找到的相关性进行解释。同时，上述这种放大也暴露了科学研究过程中有待克服的弱点。然而，研究者也在开展下一代机器学习系统的相关工作，以确保它能够评估其预测的不确定性，以及解决它的不可再现性。话虽这么说，正如只有愚昧的工人才会将他失败的原因归咎于他们使用的工具，科学家们在使用机器学习算法时也需要格外小心，以确保他们的研究结果得到证实和检验。同行评审流程的设计初衷就是为了确保这一点，而这同时也是每个研究人员的责任。研究人员需要弄清他们使用的技术并了解其局限性；如果他们不具备这些专业知识，那么去一趟统计系与某位教授进行一次交流将会让我们都收益匪浅。 Rahimi（他认为 ML是一种 “炼金术”方法）提供了一些建议来判断哪种算法最为有效，在何时最佳。他指出，研究人员应进行消融研究，即将参数依次移除，以评估其对算法的影响。Rahimi 还呼吁进行切片分析，即分析一个算法的性能，以了解对该算法在某些方面的改进会使其消耗其他方面的成本。最后，他建议运行设置了具有各种不同超参数的算法，并应汇报这些算法的所有性能。这些技术将使用 ML 算法对数据提供更强大的分析。由于科学研究过程的性质，一旦解决了这些问题，就可以最终发现并纠正以前发现的认为是准确的错误关系。准确的判断当然经受得起时间的考验。四、结语由于最终结果缺乏可重复性，机器学习方法在科学学术界确实存在问题。然而，科学家们已经意识到了这些问题，并且正在朝着更具可重复性和可解释性的机器学习模型推进相关工作，而一旦实现这一目标，神经网络将会迎来真正意义上的突破。 Genevera Allen 强调了机器智能面临的一个基本问题：数据科学家仍然不了解机器学习所采取的机制。科学界必须共同努力，以便了解这些算法究竟是如何工作的，以及如何最有效地使用它们，以确保使用这种数据驱动的方法最终得出可靠的、可重复的科学有效的结论。就连声称机器学习是“炼金术”的 Rahimi 也对其潜力充满希望。他说，“正是由于原始的炼金术才有了后面的冶金学、药物制造、纺织染色以及我们现代的玻璃制造工艺技术的发明。此外，炼金术士也认为，他们可以将普通的金属转化为黄金，而水蛭是治愈疾病的好方法。” 正如物理学家Richard Feynman1974年在加州理工学院的毕业典礼上所说， “科学的第一个原则是你不能愚弄自己，然而你自己却是最容易被愚弄的人。” 参考文献：[1] https://science-sciencemag-org.ezp-prod1.hul.harvard.edu/content/sci/365/6452/416.full.pdf[2] https://research.fb.com/wp-content/uploads/2019/05/The-Scientific-Method-in-the-Science-of-Machine-Learning.pdf?[3] https://bigdata-madesimple.com/machine-learning-disrupting-science-research-heres/[4] https://biodatamining.biomedcentral.com/track/pdf/10.1186/s13040-018-0167-7[5] https://www.sciencemag.org/news/2018/05/ai-researchers-allege-machine-learning-alchemy[6] https://www.sciencedaily.com/releases/2019/02/190215110303.htm[7] https://phys.org/news/2018-09-machine-scientific-discoveries-faster.html[8] https://www.americanscientist.org/blog/macroscope/people-cause-replication-problems-not-machine-learning[9] https://www.datanami.com/2019/02/19/machine-learning-for-science-proving-problematic/[10] https://www.quantamagazine.org/how-artificial-intelligence-is-changing-science-20190311/[11] https://ml4sci.lbl.gov/[12] https://blogs.nvidia.com/blog/2019/03/27/how-ai-machine-learning-are-advancing-academic-research/[13] https://towardsdatascience.com/a-quick-response-to-genevera-allen-about-machine-learning-causing-science-crisis-8465bbf9da82#--responses[14] https://www.hpcwire.com/2019/02/19/machine-learning-reproducability-crisis-science/via https://towardsdatascience.com/the-machine-learning-crisis-in-scientific-research-91e61691ae76 原文发布时间：2019-12-01本文作者：Matthew Stewart本文来自AI科技评论，了解相关信息可以关注“AI科技评论”

为什么会有那么多的云计算浪费?

随着2019年即将结束，调研机构Gartner公司预测，2019年全球云计算浪费约为141亿美元。尽管由于某些原因，这个数字实际可能会高得多，但这个数字是巨大的，而2018年全球云计算浪费为129亿美元。这种浪费并没有停止的迹象。Gartner公司预计，到2021年云计算浪费将达到210亿美元。由于效率低下和一些限制，浪费了大约35%的云计算支出。云计算服务提供商还证实云计算浪费的规模不断增加，他们认为组织或个人用户积累的云计算空间超出了他们的需要。考虑到人们如何将云计算视为一种节能资源，其流失的数量更令人担忧。那么到底什么是云计算浪费?为什么会飞速增长?在本文中将讨论为什么云计算浪费如此之大，以及可以采取哪些措施来减少浪费进行探讨。什么是云计算浪费? 像其他资源浪费一样，当组织获取的云计算资源数量超出了可利用的范围时，就会产生云计算浪费。云计算浪费具有几种形式。许多云平台都犯了让资源全天候运行的错误，这些资源可以用于开发、演示、测试或培训环境，但这些云计算环境在工作完成后通常被人忘记关闭。不能责怪任何一方的过错。有几家PaaS(平台即服务)提供商与云计算用户同样也有过错。这些Paas提供商无法在不使用时关闭服务。这不仅增加了成本，而且导致大量的云计算支出浪费。开发程序是造成云计算浪费的主要原因之一。开发人员在预测需要多少云计算实例的同时，通常会选择一个规模太大的实例。需要确保没有障碍以防止平稳运行。很多人总是认为规模越大越好，最终得到的资源比要求的多。它可能与不确定性或缺乏经验有关，但其结果是相同的。在通常情况下，数据库的供应量仍高于其需求，而额外的存储空间仍处于未使用状态。有人要为此负责吗? 云计算支出是组织对云计算基础设施的累积支出。大多数云计算服务都是按流量计费的，云计算供应商根据使用情况收费。通常，大多数云计算提供商会按小时向所有客户收费，其总金额称为云支出。 Gartner公司表示，2019年的云计算支出将比去年增长3.2%。这个数字将是惊人的3.8万亿美元，而2018年是2.7万亿美元。IaaS(基础设施即服务)以27.6%的增长率处于领先地位。每天都有组织进入这个利润丰厚的市场，这进一步加速了业务增长。随着采用更多资源任务的大量增加，云计算支出将会很快增加。谁因此而受到影响? 云计算浪费造成的伤害最大。其含义是多方面的，这种现象有多种损害方式。最明显的影响是收益的降低。由于组织无法充分利用云计算，因此其资产回报率较低。较低的资产回报率(ROA)也会降低净收入，这会影响应支付给消费者的股息。在接收端，由于云计算浪费而获得的分红较小。云计算浪费同时也会影响云计算提供商的业务。Azure和AWS公共云引入了自动扩展组和其他一些选项，以确保双方都受益于云计算浪费的减少。公共云提供商在超额认购消费者时获得的收益最多。这意味着他们受益于越来越多的人采用他们现有的数据中心。一旦云计算资源大量浪费，组织就被迫生产更新、更昂贵的产品，从而降低盈利能力。云计算浪费增加的原因云计算的好处是无穷的，但这并没有消除增加云计算浪费的危险。随着越来越多的组织更喜欢基于云计算的服务而不是传统的云服务，其未来似乎令人担忧。造成巨大云浪费的几个原因 (1)缺乏全面的了解 Syncsort表示，就像孩子不了解浪费水资源一样，很多人也不知道云计算浪费会带来哪些影响，大约有62%的组织报告其云计算服务成本高于预期。通常，云计算账单通常高于人们的预期，这是因为他们对如何管理云计算资源缺乏了解。有些组织将有关其业务的所有信息都上传到了云平台上，但这种方法并不适合。人们必须知道，云计算就像是保护区，应该保留必要的内容。大多数组织都为使用的资源支付费用，这也是必须采取谨慎态度的另一个原因。人们通常会忘记，关于如何管理资源需要采取适当的策略，必须记住要有适应性和组织性，才能有效地使用云计算。仅仅因为上传更容易并不意味着组织必须上传! (2)过度配置的资源如果组织知道有多少个实例，并且所有这些实例都是用于特定目的的。由于用途不同，它们的价格也不同，规模也不同。组织倾向于囤积不必要的实例，这些实例并没有采用。它不仅会导致存储问题，而且还会增加项目成本。另一个例子是云计算本身的囤积。根据最新数据，大多数组织在实例上花费了总支出的一半左右。现在，人们可能希望知道在实例上为什么支出这么多费用。根据调查，其中约40%组织的云计算规模是实际需求的两倍。如果将其转换为数字，那么全球每年在大型实例上的花费约为53亿美元 (3)计划外的虚拟机大多数组织让虚拟机全天候运行都会感到内疚。但是，对于这些机器通常没有采取任何措施，这增加了云计算浪费。很多人还没有完全理解云计算，经验不足就说明了这一点。云计算的价格根据区域不同而不同。一些组织在世界各地都有云计算服务，但未能以最好的方式利用成本最低的云计算服务。这导致了云计算浪费和延迟问题的产生。如果用户在印度使用服务器用于美国的任何操作，则必将付出更高的成本。如果不加强措施，这些未使用资源的价格将随着时间的推移而上涨。如果组织习惯于在未使用的虚拟机完成工作后将其关闭，这非常好。最令人惊讶的是，大多数组织甚至都不愿意采取任何重大措施来改进它。 (4)闲置资源闲置资源就像那些未没有入住的公寓一样，但是租户会定期支付租金。即使没有使用多余的资金也要承担费用。云计算成本并不便宜，而且很难弄清楚这些数字到底是多少。空闲资源主要发生在开发中心，在那里实施测试、准备和其他过程。偶尔也会在生产中发生，但发生的可能性很小。空闲资源的成本占全球产生的云计算浪费的很大一部分，每年的成本为88亿美元。 (5)未使用容量云计算的工作方式不同，大多数组织都认为其工作方式与内部部署数据中心完全相同。当他们转移到云平台中时，往往会选择与之前或更高版本相同的存储。根据Koomey公司发布的调查报告，大约80%的内部部署数据中心使用的服务器容量超过了所需。这不仅会给组织带来更高的成本，而且服务提供商也会受到影响。同一份报告还指出，迁移到云平台之后，大约36%的组织为云计算支付的费用超过了所需。当组织采用按使用量付费的云计算服务方案时，为什么不能提高效率并根据需求加以利用?云计算提供商要求组织更好地处理云计算服务。像AWS和Azure这样的提供商始终会推送更新来改善云计算容量管理。尽管云计算并不是化石能源那样不可再生，但它也有其局限性。因此，为什么不高效使用它，以便其他人可以使用它而不会降低效率。人们应该意识到，云计算不能与不可再生的化石能源具有同样的命运。 (6)快照过多的问题可以在云计算环境中以三种方式创建快照：VMware的方式、写时复制、写时重定向。一旦VMware创建快照，将为新的写入操作创建一个新位置。令人痛苦的是，所有读取操作都会在提供当前块版本之前扫描现有位置和原始位置。这些快照的运行方式对于大多数用户而言是未知的，他们将其视为普通快照。它们将拍摄快照，但在不再需要时无法删除它们。人们需要研究操作系统升级的情况。用户将在升级到较新版本之前拍摄快照。如果需要，它可以回滚到上一个。在经过数天甚至数月的最新版本测试之后，他们忘记删除仍在运行的旧快照。它只会产生不必要的浪费，并导致更多的资源利用。 (7)滥用按需服务各种平台的点播服务如今不断增长。随着云计算提供商向其客户提供按需服务，新问题浮出水面。许多组织发现这样的服务有利可图而且易于部署。因此，他们倾向于在不考虑启动和停止支付费用的情况下更多地利用它。按需服务只用于紧急情况，而非一般用途。它们的成本远远高于预留资源，甚至是现货资源。现在应该注意这些成本并停止部署不必要的资源。如果有必要，则必须这样做。为什么不使用可用资源代替呢? (8)孤立资源孤立资源是那些不再有用的资源。它通常发生在组织关闭计算机之后却忘记关闭存储设备的时候。存储设备将没有其他工作要做，只会累积成本，这将导致组织最终付出更多的成本。这不仅增加了组织的成本，而且还导致了云计算资源的浪费。为了遏制此类事件，组织必须足够小心谨慎，以确保在后台不会耗尽其他云计算资源。 (9)低效的定价一般来说，如果有两种选择，人们可能更容易做出选择。但是如果具有成千上万种选择，并且必须选择一个呢?可能很难找到适合自己的。这是云计算用户最大痛苦的事情。即使大多数云计算提供商按小时收费，也将提供不同的价格，而产品的价格不会发生重大变化。有成千上万种这样的选项可供选择。有经验的组织可能知道他们在寻找什么，并且会找到最合适的选项。那些缺乏经验、并且只是因为竞争对手转向云计算而置身其中的大多数组织呢?这些组织最终选择了错误的实例规模和附加组件，这些都远远超出了他们的需要，并造成云计算浪费，导致更高的成本。结论人类可能由于粗心大意而导致一些资源濒临灭绝，每年为此花费数十亿美元，但很多人并没意识到自己的错误。如果有更好的云计算管理策略呢?如果在不使用时关掉机器将会怎么样? 制定适当的工作策略将减少组织的成本，同时也会导致消耗量的下降。当企业查看账单时，其累积的数字令人担忧。很多人可能重蹈覆辙，认为使用资源是理所当然的。它在当今似乎已经广泛使用，但是如果获得足够的吸引力，该怎么办?人们将会受到影响，而那一天将会为期不远。原文发布时间：2019-12-02本文作者：责任编辑：cres 作者：Aman Juneja本文来自云栖社区合作伙伴“企业网D1Net”，了解相关信息可以关注“企业网D1Net”

云栖社区直播个人页面-阿里云开发者社区

个人介绍

擅长的技术

奶牛戴上VR眼镜“看片”，开心了可以多产奶：俄罗斯官方做了实验，拯救奶牛的冬季忧郁

大数据是否为小企业创造了竞争优势?

机器学习正遭遇“可重复性危机”，或已成“炼金术”？

为什么会有那么多的云计算浪费?

物联网在智慧城市中如何用于交通控制?

奶牛戴上VR眼镜“看片”，开心了可以多产奶：俄罗斯官方做了实验，拯救奶牛的冬季忧郁

大数据是否为小企业创造了竞争优势?

机器学习正遭遇“可重复性危机”，或已成“炼金术”？

为什么会有那么多的云计算浪费?

物联网在智慧城市中如何用于交通控制?

Delta元数据解析

spring中，多个service发生嵌套，事务是怎么样的？

云服务器ECS选型配置参考指南

阿里云数据库和自建数据库有什么区别？优缺点对比

阿里云 Serverless 应用引擎（SAE）发布 v1.2.0，支持一键启停、NAS 存储、小规格实例等实用特性

12月02日云栖号头条：得算法者得天下？不如说：得数据者得天下！

探究Mysql索引底层的bmore树的非叶子节点数据为什么小于4kb

挂载失败-日志中显示僵尸pod的问题