从科学把妹说起,为何博弈论能成为深度学习的未来?

简介:

从科学把妹说起,为何博弈论能成为深度学习的未来?

雷锋网(公众号:雷锋网)按:作者Carlos Perez是一名软件开发者,著有《深度学习的设计模型》一书。他在这篇文章中提及了我们熟悉的概念——博弈论,并认为这一概念将会更广泛地应用于机器学习中。

在电影《美丽心灵》中,“如何科学把妹”让我们得以直观地理解约翰·纳什的博弈论,但实际上不完全信息博弈论中的近似纳什均衡也已经出现在一些机器学习的论文中。其中原因何在?雷锋网为读者们编译了他在KDnuggets上的文章,一起来看看吧。

如果你一直是我文章的读者,那么你应该知道,对于许多深度学习的资深从业者来说,新的架构设计将包含越来越多的博弈论的要素。

这种做法将具有直观的意义。原因有二。其一,深度学习系统最终需要解决知识不完备的情况。实际上我们已经在AlphaGo中领教到了。AlphaGo使用部分的知识就可以在战术以及战略上打败人类当中最优秀的围棋选手。

第二个直观的意义是深度学习系统不会像在现在一样保留单一的完整性,而是将包含多种协调(或者说竞争)机制。这种情形已经应用于对抗网络中了。对抗网络包含竞争神经网络,既是攻方,也是防守方。前者会生成假图像,后者将会鉴别图像的真伪。该系统十分有意思,它并不需要一个具有封闭形式的损失函数。实际上,一些系统拥有发现自身损失函数的惊奇能力。对抗神经网络的劣势之一是很难训练。对抗学习需要在非合作博弈中包含纳什均衡。在最近的无监督学习论文中,Yann Lecun将对抗网络称为“最近二十年以来,机器学习领域中最有意思的想法”,这一点雷锋网此前也有提及。

我们仍然处于在深度学习领域中应用博弈论的早期阶段,但是我要指出的是一些有关机器学习的论文,已经有了博弈论的影子。David Balduzzi设计了一个深度学习的框架,该框架使用了博弈论的方法。他在论文《深度学习的语义、表达以及语法》中写道:

太过宽泛,是这种方法的薄弱之处。......不过,通过将简单函数的组合看作是深度学习架构的基本特征,倒有可能创造出一种非凸游戏。通过分布式通信协议与语法将这种组合进行形式化。

这种方法非常好,适用于解决我们的疑惑。他使用了几张图(是关于对抗神经网络的图)来表明他的方法的优点:

从科学把妹说起,为何博弈论能成为深度学习的未来?

从科学把妹说起,为何博弈论能成为深度学习的未来?

要是所有的教科书都使用这种方法,那该多好!

David Silver与Johannes Heinrich曾共同发表过一篇名为《在非完备信息博弈论当中深度增强学习的表现》的论文,在该论文中,他们写到:

NFSP是第一种端到端的深度增强学习方法,我们可以将这种方法应用于不完全信息博弈论中的近似纳什均衡。NFSP与以前的博弈论理论方法不同,在没有先验知识的情况下,NSPF是动态可伸缩的。此外,NSPF也是第一个可以在自我训练中有效收敛到近似纳什均衡的深度增强学习方法。

Jason Hartford等人使用深度学习来预测人的行为。他们在《深度学习在预测人的策略行为当中的应用》中写到:

通过结合认知偏差以及认知心理学中自我审视的局限性,行为博弈论理论已经发展到拥有大量的模型来在战略环境中预测人的行为。

有三个玩家,他们将三种不同的博弈论方法应用于深度学习当中:

(1)作为描述与分析新的深度学习架构的手段;

(2)作为构建学习策略的方式;

(3)用来预测人类玩家行为的方法。

最后一种方法令人毛骨悚然。

数学给予了我们抽象,并帮助我们来理解复杂的系统。然而,任何一种形式的抽象都有它的局限性。因为一些细节被忽略掉了。我们通过使用几何、力学以及逻辑来勾勒出这些复杂的系统的工作原理。这些系统的分类器来源于其他的分类器。我们从中获益匪浅。他们都是自相似的系统,他们都属于同一个集体。在该集体中,这些系统相互作用,相互影响。更进一步来讲,我们使用这些系统来预测我们的未来。这些预测需要使用不完备与不完善的数据。因此我们需要一个数学框架来研究众多交互部分的行为,而这些交互的部分拥有不同的信息集。

经典的机器学习理论认为问题可以转变成优化问题。这就需要算法来寻找最佳的解决方案。然而我们希望我们使用机器学习方法训练出的模型,没有过度拟合数据,并且能够很好地处理从未遇到过的数据。我们希望我们的模型能够对未知作出预测。这种要求(也被称作泛化)和传统的优化问题有很大的不同。这种要求也不同于经典动力学。经典动力学要求获得尽可能多的数据。这就是为什么在将深度学习应用到工程的时候,需要对优化问题附加约束。在一些文章中,这些限制被称为“先验”(我并不喜欢这种称谓),或者说优化问题中的正则化。

正则化的来源是什么?我们该如何选择一个好的正则化?我们该如何合理地处理信息?通过使用博弈论的方式,我们将获得答案。这也就是博弈论会在机器学习领域中变得重要的原因。

正则化有时会涉及到结构风险最小化。换句话说,我们使用类似于降低各方风险的策略来构建处理正则化的机制。最终我们得到了完整的结论。博弈论是用来研究理性决策者之间关系的数学模型。决策者之间的关系包括竞争与合作。为了理解学习机,我们最终使用数学来研究智慧生物之间的交互。

本文作者:翻山

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
4月前
|
机器学习/深度学习 自然语言处理 数据安全/隐私保护
深度学习中的艺术与科学:探索神经网络的奥秘
本文将带您走进深度学习的奇妙世界,一探神经网络背后的科学原理和艺术创造。我们将从基础概念出发,逐步深入到模型训练的技巧,以及如何应对过拟合等常见问题。通过实例分析,我们将展示深度学习技术在图像识别和自然语言处理等领域的应用,并讨论其在未来科技发展中的潜在影响。让我们一同解锁深度学习的力量,发现它如何塑造我们的数字世界。
|
4月前
|
机器学习/深度学习 自然语言处理 自动驾驶
深度学习的奥秘:探索神经网络背后的科学
【8月更文挑战第26天】 在本文中,我们将一起揭开深度学习神秘的面纱,深入理解神经网络如何模仿人脑处理信息。通过浅显易懂的语言和生动的比喻,本文将带你从基础概念出发,逐步深入了解深度学习的核心机制和应用实例,让你对这一前沿技术有一个全面而深刻的认识。
183 62
|
4月前
|
机器学习/深度学习
深度学习中的艺术与科学:探索神经网络之美
【8月更文挑战第28天】 在这篇文章中,我们将一起潜入深度学习的海洋,探索那些隐藏在数据波涛之下的秘密。从初学者的迷茫到技术高手的自信,每一步都像是在画布上添加新的颜色。我们会看到,就像甘地所说:“你必须成为你希望在世界上看到的改变。”通过学习和实践,我们能够解锁知识的宝藏,让复杂的理论变得简单易懂。让我们一起跟随数据的指引,发现深度学习的力量和美。
59 7
|
4月前
|
机器学习/深度学习 传感器 人工智能
深度学习的奥秘:探索神经网络背后的科学
【8月更文挑战第26天】 本文旨在揭示深度学习技术的神秘面纱,通过简明的语言和生动的比喻,向读者展示这一复杂技术的核心原理。我们将从神经网络的基本构成出发,逐步深入到模型训练、数据表示以及深度学习在不同领域的应用实例。文章不仅为初学者提供了入门知识,也为有一定基础的读者提供了深度思考的角度。
53 3
|
4月前
|
机器学习/深度学习 算法
深度学习中的艺术与科学:探索神经网络的奥秘
本文以浅显易懂的方式介绍了深度学习的基本概念,并逐步深入到其背后的复杂数学原理。通过生动的比喻和直观的解释,文章揭示了深度学习如何模仿人脑处理信息,并探讨了它在图像识别、语音处理等领域的应用。同时,文章还讨论了深度学习面临的挑战和未来的发展方向,旨在激发读者对这一前沿技术的兴趣和思考。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的奥秘:探索神经网络背后的科学
本文以深入浅出的方式介绍了深度学习的基本概念、核心算法及其在现实世界中的应用。文章通过比喻和简单的语言,帮助读者理解复杂的技术原理,并激发对人工智能未来可能性的思考。
36 1
|
4月前
|
机器学习/深度学习 自然语言处理 算法
深度学习中的艺术与科学:探索神经网络的创造力
在深度学习领域,神经网络不仅仅是冷冰冰的数学模型和算法,它们也蕴含着一种独特的创造力。本文将通过探讨深度学习在图像生成、自然语言处理和音乐创作中的应用,揭示神经网络如何模仿人类艺术家的创造性思维,以及这种技术背后的科学原理。我们将一起见证深度学习如何打破传统艺术与科学的界限,创造出令人惊叹的作品。
|
5月前
|
机器学习/深度学习 自然语言处理 算法
深度学习中的艺术与科学:探索神经网络的奥秘
在这篇文章中,我们将深入探讨深度学习背后的复杂世界。从神经网络的基本概念到其在现实世界应用的实例,文章将揭示深度学习如何结合艺术的直觉和科学的精确性,以解决一些最具挑战性的问题。通过具体案例,我们将展示深度学习如何影响我们的生活,并讨论其未来可能带来的变革。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的艺术与科学:探索神经网络的奥秘
在人工智能的广阔天地中,深度学习如同一颗耀眼的星辰,引领着技术的未来。本文将深入探讨深度学习的核心原理,解析神经网络如何模仿人脑处理信息的方式,以及这些复杂系统是如何通过数据训练实现自我优化的。我们将一起揭开深度学习的神秘面纱,从基础概念到高级应用,一探究竟。
50 0
|
7月前
|
机器学习/深度学习 安全 自动驾驶
网络安全与信息安全:防御前线的科学与艺术基于深度学习的图像识别在自动驾驶技术中的应用
【5月更文挑战第27天】 在数字化时代,网络安全和信息安全已成为维护信息完整性、确保数据传输保密性和保障系统可用性的关键。本文深入探讨了网络安全漏洞的概念、加密技术的应用以及提升安全意识的重要性。通过对网络威胁的分析,提出了一系列创新的防护措施,旨在为读者提供全面的安全防护策略和技术应用指导。 【5月更文挑战第27天】 随着人工智能技术的飞速发展,深度学习已经成为推动许多创新应用的核心动力。尤其是在图像识别领域,深度学习模型已经展现出了超越传统算法的性能。本文将探讨深度学习在图像识别技术中的最新进展以及这些进展如何被应用于自动驾驶汽车系统中,以实现更准确和可靠的环境感知能力。我们将分析当前最