2.33 创造性抽象思维（Creative Abstract Thought）
除了了解简单的概念，深度学习还要把握因果结构的各个方面——理解想法是如何相互配合来引导事件发生或是以时间为主线讲述一个故事——并能够基于这些理解创建事物。基于来自于DeepMind 神经图灵机和 Facebook 记忆网络的基本思想，深度学习和新记忆架构的结合在这个方向会大有前途。这些结构为深度神经网络中的每个节点提供了记忆的简单接口。
Kumar 和 Socher 的动态记忆网络改进了原有的记忆网络，能够更好地支持关注（attention）和序列理解。与原来的网络一样，该系统可以阅读故事，并回答关于故事的问题，隐式地学习 20 种推理，比如演绎、归纳、时间推理，以及路径寻找。从来没有对任何这种推理进行编程。Weston 等人最近开发的端到端记忆网络加入了每个输出符号多计算跳跃的能力，扩展了建模能力和表达能力，可以捕获乱序的、长依赖性，以及无序集的事物，进一步提高了这种任务的精确性。
程序本身当然也是数据，它们当然会使用复杂的因果关系、结构、语法、类序列化性质，所以编程在这种方式上已经成熟。去年，神经图灵机使得深度学习编程成为可能。今年，Grefenstette 等人展示了程序如何被转换或者从样本输出中获得产出，比神经图灵机的效率高了许多。它使用的是一种新类型的基于记忆的递归神经网络（RNNs），节点只需访问不同的数据结构，比如堆栈和队列。DeepMind 的 Read 和 de Freitas 最近也展示了他们的神经程序员解释器如何表示可以控制高层次和特定领域功能的低层次程序。
另一个精通理解上下文时间，并用此创建新产品的例子是，今年开发的一个尚未成熟但具有创意的视频摘要功能。首尔国立大学的 Park 和 Kim 开发了一种新架构，称为连贯递归卷积网络（coherentrecurrent convolutional network），将它用来从图像序列中生成新的流动的文本故事。
另一个包括抽象思维中因果关系理解，假设和创造性的重要形式是科学假设。塔夫茨大学的一个团队将遗传算法和遗传途径模拟结合开发了一套系统，它是第一个发现科学理论的人工智能系统，它发现为什么扁形虫身体能够如此容易的再生。在短短几天内它就发现了科学家一个世纪都没能发现的理论。这给那些询问“我们为什么想要让 AI 首先要有求知欲”的人一个响亮的回答。
