通常来说，我们训练模型是为了让模型在训练数据上得到正确答案，并能将这种能力泛化到测试数据上。但使用教师 - 学生训练模式时，我们是直接训练学生的泛化能力，因为学生的训练目标是能与老师一样地进行泛化。
很显然，我们可以创建更丰富的输出以供蒸馏。比如说我们可以为每张图像赋予一个描述，而不仅仅是单个标签，然后再训练学生来预测这些描述中的词。
接下来，Hinton 谈到了在智能体群中共享知识的研究。这也是一种传承知识的方式。
当多个智能体构成的社群互相共享知识时，共享知识的方式能在很大程度上决定计算执行的方式。
对于数字模型，我们可以通过复制创建大量使用相同权重的智能体。我们可以让这些智能体查看训练数据集的不同部分，让它们各自基于不同部分的数据计算权重的梯度，然后再对这些梯度进行平均。这样一来，每个模型都学到了其它每个模型学到的知识。这种训练策略的好处是能高效处理大量数据；如果模型很大，就可以在每次共享中共享大量比特。
同时，由于这种方法需要各个智能体的工作方式完全一样，因此就只能是数字模型才行。
权重共享的成本也很高。要让不同的硬件以同样的方式工作，就需要以极高的精准率生产计算机，使得它们在执行相同的指令时总是会得到相同的结果。另外，晶体管的功耗也不低。
蒸馏也能够替代权重共享。尤其是当你的模型用到了特定硬件的模拟属性时，那就不能使用权重共享了，而是必须使用蒸馏来共享知识。
用蒸馏共享知识的效率并不高，带宽很低。就像在学校里，教师都想把自己知道的知识灌进学生脑袋，但这是不可能的，因为我们是生物智能，你的权重对我没用。
这里先简单总结一下，上面提到了两种截然不同的执行计算的方式（数字计算和生物计算），并且智能体之间共享知识的方式也大相径庭。
那么现在发展正盛的大型语言模型（LLM）是哪种形式呢？它们是数字计算方式，能使用权重共享。
但是 LLM 的每个副本智能体都只能以非常低效的蒸馏方式学习文档中的知识。LLM 的做法是预测文档的下一个词，但是并没有教师对于下一个词的概率分布，它有的只是一个随机选择，即该文档作者在下一个词位置选用的词。LLM 实际上学习的是我们人类，但传递知识的带宽非常低。
话又说回来，虽然 LLM 的每个副本通过蒸馏学习的效率非常低，但它们数量多呀，可以多达几千个，也因此它们能学到比我们多数千倍的东西。也就是说现在的 LLM 比我们任何人都更加博学。
超级智能会终结人类文明吗？
接下来 Hinton 提出了一个问题：「如果这些数字智能并不通过蒸馏非常缓慢地学习我们，而是开始直接从现实世界学习，那么会发生什么呢？」
实际上，LLM 在学习文档时就已经在学习人类数千年所积累的知识了。因为人类会通过语言描述我们对世界的认识，那么数字智能就能直接通过文本学习来获得人类积累的知识。尽管蒸馏的速度很慢，但它们也确实学到了非常抽象的知识。
如果数字智能可以通过图像和视频建模来进行无监督学习呢？现在的互联网上已有大量影像数据可供使用，未来我们也许能够找到让 AI 有效学习这些数据的方法。另外，如果 AI 有机器臂等可以操控现实的方法，也能进一步帮助它们学习。
Hinton 相信，如果数字智能体能做到这些，那么它们的学习能力将远远胜过人类，学习速度也会很快。
现在就回到了 Hinton 在开始时提出的问题：如果 AI 的智能水平超过我们，我们还能控制住它们吗？
Hinton 表示，他做这场演讲主要是想表达出他的担忧。他说：「我认为超级智能出现的时间可能会远远快于我之前所想。」他给出了超级智能掌控人类的几种可能方式。
比如不良行为者可能会利用超级智能来操控选举或赢得战争（实际上现在已经有人在用已有 AI 做这些事情了）。
在这种情况下，如果你想要超级智能更高效，你可能会允许它自行创建子目标。而掌控更多权力是一个显而易见的子目标，毕竟权力越大，控制的资源越多，就更能帮助智能体实现其最终目标。然后超级智能可能会发现，通过操控运用权力的人就能轻松获得更多权力。
我们很难想象比我们聪明的存在以及我们与它们互动的方式。但 Hinton 认为比我们聪明的超级智能肯定能学会欺骗人类，毕竟人类有那么多小说和政治文献可供学习。
一旦超级智能学会了欺骗人类，它就能让人类去进行它想要的行为。这和人骗人其实没有本质区别。Hinton 举例说，如果某人想要入侵华盛顿的某栋大楼，他其实无需亲自前去，他只需要欺骗人们，让他们相信入侵这栋大楼是为了拯救民主。
「我觉得这非常可怕。」Hinton 的悲观溢于言表，「现在，我看不到该怎么防止这种情况发生，但我已经老了。」他希望青年才俊们能够找到方法让超级智能帮助人类生活得更好，而不是让人类落入它们的控制之中。
但他也表示我们有一个优势，尽管是相当小的优势，即 AI 不是进化而来的，而是人类创造的。这样一来，AI 就不具备原始人类那样的竞争性和攻击性目标。也许我们能够在创造 AI 的过程中为它们设定道德伦理原则。
不过，如果是智能水平远超人类的超级智能，这样做也不见得有效。Hinton 说他从没见过更高智能水平的东西被远远更低智能水平的东西控制的案例。就假设说如果是青蛙创造了人类，但现在的青蛙和人类又是谁控制谁呢？
最后，Hinton 悲观地放出了这次演讲的最后一页幻灯片：
这既标志着演讲的结束，也是对全体人类的警示：超级智能可能导致人类文明的终结。
