在人工智能的发展历程中，预测其未来走向一直是一个充满挑战的任务。谷歌工程师Alex Irpan在2024年1月10日的文章中，对AI的未来发展进行了深入的思考和预测。他提出了一个引人注目的观点：到2028年，实现通用人工智能（AGI）的概率将达到10%。这一预测基于他对AI技术进步的观察，特别是计算能力的提升和算法的改进。
Irpan的预测并非空穴来风。他指出，计算能力的提升在AI发展中扮演了至关重要的角色。他曾经认为，AI的进步中计算能力和算法改进各占一半，但随着时间的推移，他现在认为计算能力的贡献更大，约占65%，而算法改进约占35%。这一转变反映了他对AI模型规模扩大后涌现的新能力的认识。Irpan认为，许多被视为人类特有的学习行为，可能仅仅是大型模型的自然产物，而人类所认为的“智能”行为，可能并不如我们所想的那样复杂。
在无监督学习方面，Irpan提到了通过微调和指令数据来提高模型性能的方法。他以GPT-3为例，尽管存在一些问题，如固定注意力窗口和缺乏意图或代理的概念，但通过在大量“指令：示例”数据上进行微调，可以使较小的模型超越未调整的大型模型。这种微调方法为ChatGPT等应用的实现提供了可能，展示了AI在理解和生成自然语言方面的巨大潜力。
工具的改进也是Irpan关注的重点。随着Transformer模型成为主流，相关工具变得更加专业化和集中。API调用的研究方式兴起，为API所有者带来了更广泛的受众，从而推动了用户体验的改善。这些工具的进步，虽然在Irpan看来并不令人惊讶，但它们确实是AI研究和应用发展的重要推动力。
在规模法则方面，Irpan提到了Chinchilla规模法则，该法则表明在固定的浮点运算（FLOPs）预算下，只要数据集足够大，模型可以更小。这一发现对于AI模型的优化和应用具有重要意义，尤其是在计算资源有限的情况下。尽管模型大小的减少，但Irpan认为，这并没有显著影响模型的能力，因为FLOPs和数据仍然是瓶颈。
产品周期的兴起是Irpan关注的另一个重要趋势。他提到，随着AI应用的普及和可访问性的提高，AI的发展速度可能会加快。他预测，即使在最坏的情况下，即所有的风险投资公司破产，大型语言模型也会干涸，我们仍然拥有已经训练好的模型和已经得出的想法，这是不可逆转的。这一观点强调了AI发展的不可逆性和持续进步的趋势。
最后，Irpan讨论了搜索技术，尤其是Q*方法，这是一种结合了搜索和大型语言模型（LLM）的方法。他指出，尽管搜索方法通常计算效率不高，但它们是机器学习中最可靠的理念之一。他认为，只要我们能够继续扩大计算能力和数据规模，AI的发展就不会停止。
Irpan的文章提供了对AI未来发展的深入分析，强调了计算能力、数据、工具改进和产品周期等因素的重要性。他的观点表明，尽管存在挑战，但AI的发展正在加速，我们可能会在不久的将来看到更多的突破。然而，这些预测也并非没有争议。一些批评者可能会指出，AI的发展可能会遇到技术、伦理和社会等方面的障碍。例如，数据隐私、算法偏见和AI的道德责任等问题，都是需要在AI发展过程中认真考虑的问题。
尽管如此，Irpan的预测无疑为AI领域的研究者和开发者提供了一个乐观的前景。他的分析鼓励人们继续投资于AI技术的研究和开发，同时也提醒我们，随着AI技术的不断进步，我们必须谨慎地处理与之相关的各种挑战。在未来几年里，我们期待AI技术将带来更多的创新和变革，但同时也需要对可能出现的问题保持警惕。
