最近,一项关于人工智能的研究引起了广泛的关注。这项研究由Pham Hoang Van和Scott Cunningham共同完成,他们来自美国贝勒大学的经济学系。他们研究了OpenAI的ChatGPT-3.5和ChatGPT-4是否能够准确地预测未来的事件。
这项研究采用了两种不同的提示策略来评估ChatGPT的预测能力。第一种是直接预测,即直接要求ChatGPT预测未来的事件。第二种是未来叙事,即要求ChatGPT讲述虚构的故事,设定在未来,其中的角色经历了已经发生的事件,但这些事件发生在ChatGPT的训练数据之后。
为了评估预测的准确性,研究人员利用了这样一个事实:ChatGPT的训练数据截止到2021年9月。因此,他们要求ChatGPT预测2022年发生的事件。他们特别关注了经济领域,包括预测主要奥斯卡奖项的获奖者以及经济趋势。
在分析了100个提示后,研究人员发现,未来叙事提示显著提高了ChatGPT-4的预测准确性。这在预测主要奥斯卡奖项的获奖者和经济趋势时尤其明显,后者是通过让模型模拟公共人物(如美联储主席杰罗姆•鲍威尔)来推断的。
这些发现表明,叙事提示利用了模型的虚构叙事能力,促进了更有效的数据合成和推断,而不是直接预测。这项研究揭示了LLM(大型语言模型)的预测能力方面的新方面,并暗示了其在分析背景下的潜在未来应用。
然而,这项研究也存在一些局限性。首先,它只关注了2022年发生的事件,没有考虑更长期的预测。其次,它只使用了两种提示策略,没有探索其他可能的方法。最后,它没有考虑其他因素,如模型的偏见或伦理问题。