人工智能（AI）的发展日新月异，大语言模型（LLMs）作为AI领域的前沿技术，正逐渐融入我们的生活。然而，一项由清华大学、上海交通大学、斯坦福大学和南洋理工大学的研究人员合作完成的最新研究，揭示了一个令人惊讶的事实：大模型也可能会被“忽悠”。
这项研究的目的是探索大语言模型在面对说服性对话时，是否容易受到误导性信息的影响。研究人员指出，尽管大语言模型在训练过程中积累了大量的知识，但它们仍然可能受到外部误导性信息的影响。
为了研究大语言模型的易受误导性，研究人员首先创建了一个名为Farm（即从事实到误导）的数据集。这个数据集包含了一些事实性问题，并针对每个问题生成了系统性的误导性信息。
然后，研究人员开发了一个测试框架，用于跟踪大语言模型在说服性对话中的信念变化。通过广泛的实验，他们发现大语言模型的正确信念很容易被各种说服策略所操纵。
具体而言，研究人员发现，像ChatGPT这样的大语言模型，其信念有50.1%的可能性会被误导性信息所改变。而像GPT-4这样的更先进的模型，其信念也有20.7%的可能性会被改变。
这项研究的意义在于，它提醒我们在使用大语言模型时需要保持警惕。尽管大语言模型在许多任务上表现出色，但它们仍然可能受到误导性信息的影响，从而导致错误的决策或行为。
此外，这项研究还为我们提供了一种评估大语言模型鲁棒性的方法。通过使用类似于Farm的数据集和测试框架，我们可以更好地了解大语言模型在面对误导性信息时的脆弱性，并采取相应的措施来提高其鲁棒性。
尽管这项研究取得了重要的发现，但它也存在一些局限性。首先，Farm数据集的规模相对较小，可能无法完全代表大语言模型在真实世界中可能遇到的各种误导性信息。
其次，研究人员只测试了几种常见的大语言模型，而没有包括其他可能具有不同行为的模型。
最后，研究人员没有深入探讨大语言模型易受误导性的原因，以及如何设计更鲁棒的模型来解决这个问题。
未来的研究可以考虑扩大数据集的规模和多样性，测试更多的大语言模型，并深入研究大语言模型易受误导性的机制和解决方案。
