在人工智能领域,大模型的发展无疑是近年来最受瞩目的焦点之一。复旦大学张奇教授在一次访谈中深入探讨了大模型与人工通用智能(AGI)之间的关系,提出了一系列富有洞见的观点。
张教授首先指出,大模型的研究与开发需要巨额的资金和资源,这对于资源有限的学术界来说是一个巨大的挑战。在这样的背景下,企业成为了推动大模型发展的重要力量。他强调,中国在这一领域的发展必须加快步伐,不能仅仅依赖于引进和应用,而应该加强自主创新。
张教授的新著《大规模语言模型:从理论到实践》为读者提供了一本全面了解大模型的指南。书中不仅详细介绍了大模型的结构和数据处理方法,还探讨了分布式训练和模型微调的技术细节。更重要的是,张教授在书中提出了学术界与企业合作的模式,认为这种合作能够促进双方的共同进步,并在特定场景下挖掘科学问题。
在讨论大模型的研究进展时,张教授认为,尽管国内外的技术差距在缩小,但要准确评估与国际领先水平的距离仍然困难。他提出,大模型的发展方向虽然正确,但仍有许多技术细节和实现方式有待探索。
张教授进一步指出,大模型在处理视频数据等多模态信息时面临诸多挑战。从视频数据的准备到网络架构的选择,再到模型稳定性的保证,每一个环节都需要大量的研究和实验。
在谈到Scaling Law时,张教授表达了学术界对此的争议。他认为,仅仅通过扩大模型规模并不能保证性能的提升。他通过实验数据说明,大模型在某些任务上的性能提升有限,而所谓的“涌现”现象也缺乏足够的证据支持。
张教授还提到了小模型的研究价值,尤其是在资源受限的嵌入式设备中。他认为,小模型在特定任务上可能有更好的表现,并且对于边缘计算具有独特的优势。
在企业应用方面,张教授指出大模型在普遍任务上的表现尚不能满足企业对特定任务的高标准要求。他强调,大模型的产品化是实现商业化的关键,需要在成本和收益之间找到平衡点。
关于AGI的概念,张教授明确表示,目前的大模型还不具备实现AGI所需的推理能力。他认为,演绎推理、归纳推理和溯因推理是实现AGI的关键,而大模型在这些方面还有很长的路要走。
张教授还分享了他领导的大模型应用项目,如复旦的眸思模型和“听见世界”公益项目,展示了大模型在解决特定社会问题上的潜力。