金融GPT来了:500亿参数,但用来投资还是跑不赢大盘(1)(2)

简介: 金融GPT来了:500亿参数,但用来投资还是跑不赢大盘(1)

知识评估


在一项任务中,BloombergGPT 比 BLOOM176B、GPT-NeoX 和 OPT66B 性能都高。在其他三项中排名第二(表 14)。与上一节类似,它优于类似尺寸的模型,同时几乎与更大的模型持平。Massive Multitask Language Understanding (MMLU, Hendrycks et al., 2021) 涵盖了 57 个不同的主题,因此比上述任务的覆盖面要广得多。


表 15 中的结果遵循了在 BIG-bench hard 中看到的见解。BloombergGPT 始终优于 OPT66B,后者又优于 GPT-NeoX,而 GPT-3 表现最佳。与前面的部分相比,BloombergGPT 在这一类别中的表现也优于 BLOOM176B,尽管差距很小。它落后于 GPT-3 的报告表现,尤其是在社会科学类别中。与 GPT-3 的差距在 STEM 和 “其他” 领域最为接近,其中包括与财务和会计相关的问题。




阅读理解


下表 16 反映了在阅读理解任务上的排名:虽然 GPT-3 的性能最高,但 BloombergGPT 紧随其后。除 OpenBookQA 外,BloombergGPT 的性能是 BLOOM176B、GPT-NeoX、OPT66B 中最高的。令人惊讶的是,BLOOM176B 在这一类别中明显落后。


语言学任务

下表 17 展示了在语言学任务上的结果,这与知识类别任务有相似的趋势。BloombergGPT 略落后于 GPT-3,但优于其他模型。与阅读理解类别类似,BLOOM176B 落后于 BloombergGPT。


最后,需要注意的是,使用金融 GPT 进行投资,可能仍然会跑输大盘指数:


相关文章
|
2月前
|
人工智能 自然语言处理
公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4
【8月更文挑战第3天】新论文提出“公理训练”法,使仅有6700万参数的语言模型掌握因果推理,性能媲美万亿级GPT-4。研究通过大量合成数据示例教授模型因果公理,实现有效推理并泛化至复杂图结构。尽管面临合成数据需求大及复杂关系处理限制,此法仍为语言模型的因果理解开辟新途径。[链接: https://arxiv.org/pdf/2407.07612]
53 1
|
3月前
|
存储 SQL 数据库
Python 金融编程第二版(GPT 重译)(四)(4)
Python 金融编程第二版(GPT 重译)(四)
35 3
|
3月前
|
存储 NoSQL 索引
Python 金融编程第二版(GPT 重译)(一)(4)
Python 金融编程第二版(GPT 重译)(一)
45 2
|
26天前
|
数据可视化 Swift
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
|
3月前
|
存储 机器学习/深度学习 关系型数据库
Python 金融编程第二版(GPT 重译)(四)(5)
Python 金融编程第二版(GPT 重译)(四)
28 2
|
3月前
|
存储 算法 数据可视化
Python 金融编程第二版(GPT 重译)(一)(1)
Python 金融编程第二版(GPT 重译)(一)
54 1
|
3月前
|
SQL 存储 数据库
Python 金融编程第二版(GPT 重译)(四)(3)
Python 金融编程第二版(GPT 重译)(四)
31 1
|
3月前
|
存储 算法 数据建模
Python 金融编程第二版(GPT 重译)(一)(5)
Python 金融编程第二版(GPT 重译)(一)
26 0
|
3月前
|
安全 Shell 网络安全
Python 金融编程第二版(GPT 重译)(一)(3)
Python 金融编程第二版(GPT 重译)(一)
19 0
|
3月前
|
算法 Linux Docker
Python 金融编程第二版(GPT 重译)(一)(2)
Python 金融编程第二版(GPT 重译)(一)
30 0

热门文章

最新文章