ChatGPT作为人工智能领域的一项重大突破，其背后的思考机制一直备受关注。最近，一篇发表在《自然》杂志上的文章深入探讨了这一问题，并试图通过心理学和神经科学的视角来揭示AI大模型的运作原理。
这篇文章首先指出，当前的人工智能系统，尤其是那些基于机器学习的系统，其复杂性已经超出了人类的理解范围。例如，即使是那些构建这些系统的人，也很难解释它们是如何做出决策的。这种“黑盒子”现象在大型语言模型（LLMs）中尤为明显，这些模型是驱动聊天机器人（如ChatGPT）的机器学习程序。
LLMs的复杂性部分源于它们的规模。它们可以拥有数百亿个参数，即AI在内部用于做出决策的变量。这使得它们在执行各种任务时非常强大，包括提供医疗建议、编写计算机代码、总结新闻、起草学术论文等。然而，这也意味着它们的决策过程可能非常难以理解。
为了解决这个问题，研究人员转向了可解释AI（XAI）领域。XAI旨在开发工具和技术，帮助我们理解AI系统的决策过程。这些方法包括突出导致算法将图像标记为猫的图像部分，或让软件构建一个简单的“决策树”，以近似AI的行为。这些努力已经取得了一些成功，但XAI仍然是一个非常活跃的研究领域。
在LLMs的情况下，XAI工具的开发尤为重要，因为这些模型已知会生成错误信息、延续社会刻板印象和泄露私人信息。因此，研究人员希望通过了解这些模型的决策过程来创建更安全、更高效和更准确的AI。用户希望知道何时可以信任聊天机器人的输出，而监管机构则希望知道应该对AI施加哪些限制。
然而，理解LLMs的决策过程并不容易。一些研究人员将这些模型描述为“随机鹦鹉”，这意味着它们通过概率组合以前遇到的文本模式来生成文本，而没有真正理解它们所写的内容。然而，其他研究人员认为这些模型可能具有更复杂的能力，包括推理和其他惊人的人类特征。
为了探索LLMs的决策过程，一些研究人员采用了类似于人类心理学的方法。他们通过与模型进行对话来“询问”它们，以揭示可能从简单底层计算中出现的复杂行为。其他研究人员则从神经科学中汲取灵感，通过观察模型“神经元”的活动来研究其决策过程。
然而，需要注意的是，这些方法仍然处于初级阶段，我们对LLMs决策过程的理解仍然非常有限。此外，一些研究人员警告说，仅仅因为一个模型能够生成看似合理的解释，并不意味着它真正理解它所生成的内容。
