随着大型语言模型（LLM）的飞速发展，以ChatGPT为代表的应用彻底改变了人机交互的方式。这些基于Transformer的模型在海量数据上进行预训练，能够生成连贯且全面的文本，在问答、文本摘要和对话等任务中表现出色，甚至有时超越了人类的能力。然而，这些强大的模型也存在一个显著的问题——幻觉（hallucination）。
所谓幻觉，是指LLM生成的响应看似真实，但实际上是错误的、无意义的或与给定提示不一致。这种问题可能导致虚假信息的传播，对关键决策产生负面影响，甚至引发对人工智能的不信任。例如，《纽约时报》曾报道一位律师使用ChatGPT生成虚假的案例引用，这起事件凸显了LLM幻觉的潜在风险。
那么，为什么LLM会产生幻觉呢？要理解这个问题，我们需要先了解LLM的工作原理。LLM通过在大量数据上进行机器学习来构建，这些数据包括各种语言样本，尤其是互联网上丰富的文本资源。训练的结果是一组概率参数，用于预测给定单词或词组之后最可能出现的单词或词组。
然而，这种预测仅基于统计概率，与单词的语义含义或现实世界的事实无关。例如，当LLM告诉我们“草是绿色的”，它并不是因为现实世界中草是绿色的，而是因为在训练数据中，“草是”后面最常出现的词是“绿色”。这种基于统计的预测机制使得LLM在面对缺乏共识或存在争议的话题时容易产生幻觉。
从这个角度来看，我们应该问的不是“为什么LLM会产生幻觉？”，而是“为什么它们能在某些情况下给出正确的答案？”。这涉及到一个哲学问题——如何在语言表达中建立信任，即所谓的认知信任（epistemic trust）。
在科学领域，我们通过实验、观察和同行评审等机制来建立信任。然而，在互联网时代，众包（crowdsourcing）成为了一种新型的信任建立方式。通过向大量人群提问并汇总他们的回答，我们可以利用群体的智慧来解决问题。这种基于讨论和共识的知识获取方式在维基百科、Reddit等平台上得到了广泛应用。
LLM可以被视为众包的延伸，它基于互联网上所有问题和答案的统计概率来生成响应。当一个话题存在广泛共识且有大量相关文本时，LLM通常能给出准确的答案。然而，当话题较为冷门或存在争议时，LLM的响应就可能变得不可靠。
为了验证这一假设，哈佛大学的研究团队设计了一系列实验，使用不同的LLM模型（包括Llama、ChatGPT-3.5、ChatGPT-4和Google Gemini）对各种话题进行测试。这些话题包括冷门的科学领域（如铁电体极化）、政治敏感问题（如奥巴马的罕见引言）以及存在争议的议题（如气候变化和以色列人）。
实验结果显示，当话题较为冷门或存在争议时，LLM更容易产生幻觉。例如，在被要求提供关于铁电体极化的科学论文时，所有模型都无法给出准确的引用。在回答关于奥巴马的罕见引言时，Llama模型经常重复错误的引言，而Google Gemini甚至引用了错误的来源。在涉及气候变化和以色列人的问题上，模型的响应也存在不一致性和潜在的错误。
这些发现表明，LLM的性能取决于训练数据的质量和数量。当数据充足且存在共识时，LLM通常能给出准确的答案。然而，当数据稀缺或存在争议时，LLM就可能产生幻觉。这与众包的原理类似，即当参与者众多且意见一致时，众包的结果通常较为可靠；而当参与者较少或意见分歧时，众包的结果就可能变得不确定。
尽管LLM存在幻觉问题，但它们仍然具有巨大的潜力。通过不断改进训练数据和算法，我们可以提高LLM的准确性和可靠性。同时，我们也需要意识到LLM的局限性，并在使用它们时保持批判性思维。
