金融GPT来了:500亿参数,但用来投资还是跑不赢大盘(1)(2)

简介: 金融GPT来了:500亿参数,但用来投资还是跑不赢大盘(1)

知识评估


在一项任务中,BloombergGPT 比 BLOOM176B、GPT-NeoX 和 OPT66B 性能都高。在其他三项中排名第二(表 14)。与上一节类似,它优于类似尺寸的模型,同时几乎与更大的模型持平。Massive Multitask Language Understanding (MMLU, Hendrycks et al., 2021) 涵盖了 57 个不同的主题,因此比上述任务的覆盖面要广得多。


表 15 中的结果遵循了在 BIG-bench hard 中看到的见解。BloombergGPT 始终优于 OPT66B,后者又优于 GPT-NeoX,而 GPT-3 表现最佳。与前面的部分相比,BloombergGPT 在这一类别中的表现也优于 BLOOM176B,尽管差距很小。它落后于 GPT-3 的报告表现,尤其是在社会科学类别中。与 GPT-3 的差距在 STEM 和 “其他” 领域最为接近,其中包括与财务和会计相关的问题。




阅读理解


下表 16 反映了在阅读理解任务上的排名:虽然 GPT-3 的性能最高,但 BloombergGPT 紧随其后。除 OpenBookQA 外,BloombergGPT 的性能是 BLOOM176B、GPT-NeoX、OPT66B 中最高的。令人惊讶的是,BLOOM176B 在这一类别中明显落后。


语言学任务

下表 17 展示了在语言学任务上的结果,这与知识类别任务有相似的趋势。BloombergGPT 略落后于 GPT-3,但优于其他模型。与阅读理解类别类似,BLOOM176B 落后于 BloombergGPT。


最后,需要注意的是,使用金融 GPT 进行投资,可能仍然会跑输大盘指数:


相关文章
|
2月前
|
自然语言处理
Meta首发变色龙挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA
【5月更文挑战第27天】Meta推出34B参数的多模态模型Chameleon,通过早期融合技术处理图像和文本,实现全面的多模态建模。在10万亿token的训练数据下,Chameleon在图像字幕生成和文本推理任务中刷新SOTA,展现出在混合模态生成和推理的潜力。然而,模型可能无法完全捕捉图像语义信息,且在某些特定任务上有优化空间。[论文链接](https://arxiv.org/pdf/2405.09818)
41 1
|
2月前
|
人工智能 测试技术 iOS开发
微软Phi-3,3.8亿参数能与Mixtral 8x7B和GPT-3.5相媲美,量化后还可直接在IPhone中运行
Phi-3系列是微软推出的一系列高效语言模型,旨在在移动设备上实现高性能。该系列包括 Phi-3-mini(38亿参数)、Phi-3-small 和 Phi-3-medium,它们在保持紧凑的同时,性能媲美GPT-3.5和Mixtral。模型通过精心筛选的数据集和优化训练策略,如数据最优化和阶段训练,实现高效能。 Phi-3-mini可在iPhone 14上运行,占用约1.8GB内存。这些模型在多个基准测试中展现出色性能,推动了AI在移动设备上的应用,增强了用户隐私和体验。虽然目前仅发布技术报告,但源代码和权重即将开放下载。
71 1
|
11月前
|
机器学习/深度学习 数据采集 人工智能
150亿参数、一次通过率超60%,华为代码能力超GPT3.5的大模型来了
150亿参数、一次通过率超60%,华为代码能力超GPT3.5的大模型来了
148 0
|
人工智能 安全 自动驾驶
GPT-4是8x2200亿参数的混合模型?这个小道消息今天传疯了
GPT-4是8x2200亿参数的混合模型?这个小道消息今天传疯了
|
机器学习/深度学习 人工智能 自然语言处理
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能(1)
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能
215 0
|
机器学习/深度学习 存储 自然语言处理
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能(2)
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能
252 0
|
存储 编解码 自然语言处理
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能(3)
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能
343 0
|
存储 自然语言处理 物联网
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能(4)
世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能
286 0
|
机器学习/深度学习 人工智能 安全
没有RLHF,一样媲美GPT-4、Bard,Meta发布650亿参数语言模型LIMA
没有RLHF,一样媲美GPT-4、Bard,Meta发布650亿参数语言模型LIMA
|
机器人 PyTorch 算法框架/工具
300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了
300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了
314 0

热门文章

最新文章