联合编译:章敏,高斐
当我在1995参加了计算机科学的时候,数据科学并不存在,但我们仍然在使用许多早已存在的算法。这不仅仅是因为神经网络的回归,也可能是从那时起,就已经没有发生太多根本性的变化。至少给我的感觉是这样的。有趣的是,从今年开始,人工智能似乎终于已经成为主流。
在云计算机,智能手机,或聊天机器人出现之前,1995年听起来像是非常痛苦的时期。但在了解过去的几年时,如果你未身处其境,感觉起来就像是很久以前的事一样。就如自我延续一样,它将一切都贴在一起,虽然已经改变很多,但与现在相比,世界没有感觉到根本不同的。
坚持不懈从事计算机科学
计算机科学从未像现在一样未接近主流。后来,随着2000年左右的第一个网络泡沫。有些人甚至质疑我学习计算机科学的选择,因为编程计算机很显然变得非常容易,再也不需要专家了。
事实上,人工智能是我学习电脑科学的主要原因之一。将它作为一种建设性的方法来理解人类思想的想法,对我来说非常耐人寻味。前两年我都在训练,以确保自己有足够的数学水平来解决道路上的阻碍,且最终上了第一堂AI课(由Joachim Buhmann授课),那时波恩大学的教授Sebastian Thrun 正准备离开美国。我得查看我参加了他的哪一个演讲周期,他在计算机视觉中有两个讲座,一个是模式识别(多数是旧版本的Duda&Hart的书中知识),一个是信息理论(类似于Cover和Thomas的书)。材料是非常有趣的,但也有点令人失望。正如我现在所知,人们停止了AI方面象征性的工作,不再坚持用更多的统计方法来学习,这种方法学习的本质是,基于有限数量的观察减少选择正确函数的问题。计算机视觉讲座,甚至学习的更少,且更依赖于明确的物理建模,以获得正确的估计,例如,从视频中重建运动。那时的方法比现在更加生理化和物理化。虽然神经网络存在,但每个人都很清楚,他们只是“另一种函数逼近。”除了Rolf Eckmiller,和另一个我曾经在其手下工作过的教授之外,每个人都这么想。Eckmiller在“神经计算”在某种程度上比传统的计算好得多前提下建立了他的整个实验室。这可以追溯到NIPS有着完整的路径致力于研究神经元的生理学和工作机制的日子,甚至有人认为在我们的大脑中有着本质性差异东西发生,也许是在量子水平,这增加了人的心灵,这种差异是研究真正智能机器的一大阻碍。
虽然Eckmiller很善于推销他的观点,但他的大部分工作人员都庆幸脚踏实地。也许这是一件非常德国化的事情,但每个人都很关心这些计算模型到底能不能做到,这也是研究中一直困扰我的问题。我毕业于2000十月,发表了相当牵强的硕士论文,试图在学习和努力优化问题之间建立联系,然后开始了我的博士论文,并坚守在该领域进行研究直到2015。
机器学习的研究方法很多,但解决的本质问题基本一样
虽然一直试图证明行业的相关性,当它是一个长时间的非常学术性的努力,且社区是相当封闭的。有一些个人成功的故事,例如手写字符识别,但许多公司在机器学习方面的研究失败了。我记得有一个公司叫Beowulf Labs和NIPS,他们用一个视频到处去招聘人才,承诺要成为下一个“mathtopia”。在本质上,这是DeepMind的故事,招聘一群优秀的研究人员,然后希望它会起飞。
整个社会也会围绕着一个时尚到下一个。有一件奇怪的事情是,机器学习作为一个整体,除了一大堆方法外,只有极少数本质不同的问题,如分类,回归,聚类等。它不像物理(我假设)或数学一样,一些普遍认为没有解决的疑难问题,存在可以推进出最好结果的解决方案。这意味着,进步经常是做横向的,通过用一个新的方法更换现有的方法,仍然以不同的方式解决同一个问题。例如,首先有神经网络。然后支持向量机出现了,声称其效果更好,因为相关的优化问题是凸面的。然后有boosting,random forests,等等,直到回到神经网络。我记得,中国餐馆进程(Chinese Restaurant Processes) “火”了两年,但没有人知道他们现在的意义是什么。
大数据与数据科学
大数据与数据科学的时代已然到来了。当时立身于学术界,我总觉得大数据与数据科学肯定来自于外界,可能来自于像谷歌这样切实处理庞大数据的公司。大规模学习确实是存在的,例如,生物信息学中基因组数据,但是我们应当寻找更为有效的算法或近似算法来解决这些问题,而非蛮干。
诸如谷歌这样的公司最终证实了,我们可以运用庞大的数据完成一些事情,最终将改变人们对人工智能持有的主流观点。有一些技术,如Hadoop和NoSQL,看似非常流行,能够娴熟地在市场上推广并不断革新,这些技术将免于现存体系中技术方面的限制。然而,这将对机器学习的研究者产生什么影响?给我的印象是,这些研究者感到高兴的是,大数据与数据科学时代的到来使他们最终得到认同,不过,他们也为自己得到认同的方式感到悲哀。要理解这一点,我们要意识到,多数ML研究者并不是计算机领域的科学家,或者非常擅长,对编码非常感兴趣。他们中许多人来主攻物理,数学或其他学科,在这些学科领域中,他们卓越的数学训练能力使其能够熟练运用各种算法,并为机器学习构建核心模型。
另一方面,Hadoop分布式系统基础架构偏科技性。用Java编写,这种语言在当时被认为专业性极强,与MatLab和Python两种计算机语言相比,Hadoop的语言不免显得复杂难懂。即使那些C++编程人员也会有相同的感觉,对他们来讲,Java语言也会显得冗杂,特别是在数值计算和模拟方面。但是,当前尚未找到解决这一问题的途径,因而,他们将自己所做的一切都重新命名为大数据,或者开始强调,大数据仅为大规模计算提供基础数据资源,而你需要专业的人才,方能弄懂这些数据信息。
这种解决方法应当是不会出错的。我认为,在一定程度上,这种区分依然是存在的。如果为数据分析选择合适的语言,Python当是最优之选,存在一些技术,如Spark,试图通过绑定Python语言来分析数据,不论该种方法在性能方面是否讲得通。
深度学习的回归
甚至在谷歌研发出人工智能技术DeepDream之前,神经网络已经掀起回归热潮了。有一些人,如Yann LeCun,一直以来坚持这种方法,但是,大概在10年前,有一些研究显示如何使用分层训练及其他训练方法,训练“深层”网络,这种类型网络的规模超出人们之前所能设想的。
得根据训练实例进行评估,以训练神经网络,然后,调整所有权值进一步减小误差。倘若沿着权重下降的方向记录梯度值,那么将从最后一层开始把错误传播回来。不管怎样,可以这样理解,错误信息将逐层递减,如此将增加多层次训练网络的难度。就我所知,许多人依然采用背景法,我不确定这种观点是否依然正确。但是,可以肯定的是,可使用的数据量,工具及原始计算能力均发生了变化。因而,最初一些研究文献点燃了人们对神经网络的兴趣,人们随后开始继续使用这些神经网络,并在一些应用领域中取得了卓越的成就,这些神经网络最早成功应用于计算机视觉,随后在言语加工处理等领域。
我认为,这种类型的神经网络之所以能够吸引人是因为其多样化的用途。有了这种方法,人们可以免于理解多种不同途径的麻烦。此外,神经网络拥有一个模块化的结构,人们可以挑选出并组合不同层级和结构,将其用于解决各种各样的问题。
谷歌当时发表了一篇关于DeepDream人工智能技术的优秀论文,文中提到他们能够运用一个包含信息丰富的网络衍生出一些数据,而我们人类具备即时学习结构与属性的能力,很快便能学会运用这种网络。因而,如今谷歌可以称得上一家一流的人工智能公司。人工智能将拯救全世界。
尚待解决的一个基本问题
我曾经与许多学者交流过,他们对于深度学习的主导作用感到不满,原因是这种方法能够产生很好的效果,有时这种效果甚至过于理想化,但是,仍然不能帮助我们进一步理解人类大脑的工作原理。
我对此也持相同的看法,即这一基本问题仍未得到解决。我们是如何理解世界的?我们是如何创造出新概念的?深度学习依旧停留在模仿行为的层面,尽管对于一些人来讲,深度学习的效果已经相当不错了,但我对此还不太满意。此外,我认为将太多智能因素归功于这些系统,存在风险。对原始数据来讲,这些系统的性能可能很不错,但是,在其他方面,这些系统将以完全不同的方式运行。
尽管谷歌翻译工具能够允许人们跳过外国网站上发布的内容,该种系统的性能仍有待改进,这一点是明白无误的。有时我觉得没有人会在意这一点,也许是因为没有人会因此受到伤害,不是吗?但是,也可能是由于我的德国文化背景的缘故,我希望我们能够以事物最初的模样来看待这些事物的发展。
本文作者:章敏
本文转自雷锋网禁止二次转载,原文链接