挖掘GPT的隐藏实力就靠它了

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 这个GitHub新项目,能让ChatGPT完成复杂任务,GPT3.5和GPT-4都支持。它通过将问题拆解,并调用外部资源,提高了GPT的工作能力。在它的调教下,GPT-4回答的准确率从68%提高到了85%。

这个GitHub新项目,能让ChatGPT完成复杂任务,GPT3.5和GPT-4都支持。

它通过将问题拆解,并调用外部资源,提高了GPT的工作能力。

在它的调教下,GPT-4回答的准确率从68%提高到了85%。

ex855w.jpg

这个项目名叫SmartGPT,这个名字很直白地告诉了我们它的作用。

无论是直观感受还是量化数据,GPT在它的加持之下回答正确率都有提高。

我们不妨看看几个经典的问题。

晾干5件衣服需要5个小时,那么晾30件需要多长时间呢?

这是一个来自OpenAI Playground的经典问题。

只见GPT一顿操作猛如虎,又是推理又是列方程……

然而最后给出的答案是30个小时。

image.png

而经过SmartGPT调教之后,不仅得到了正确答案,还指出了此前的思路为什么会出错。


再来举个栗子,同样是来自于OpenAI Playground的问题。

假设有6升和12升的罐子各一个,如何量取6升水?

GPT的答案嘛……麻烦不说,能不能解释下第五步的2升是怎么剩下的?


经过调教之后嘛……虽然不理解为什么不直接用6升的,但也有很大进步了。


我们也用倒拔垂杨柳的问题进行了测试,提供了诸葛亮、孙悟空和林黛玉三个选项。


第一轮,GPT-4给出的答案是……孙悟空。


经过调教之后,GPT-4终于发现了三个选项都是错误的。

同时还指出了孙悟空虽然没有倒拔垂杨柳但是有相似的情节。

(《西游记》第二十五回中,孙悟空在五庄观因愤怒将人参果树拔倒)


需要说明的是,由于没有GPT-4的API,测试是按照开发者介绍的方法手工完成的。

当然了,个例并不能说明它的表现,还是要用数据集测试一下。

开发者使用了MMLU数据集分别对调教前后的GPT-4进行了测试。

结果显示,未经调教的版本只答对了68%,而调教后的版本答对了85%。

顺便提一句,真人专家在测试中的平均成绩是89.8%。


数学方面,同样使用MMLU数据集进行测试,开发者从中选择了15个大学难度的数学问题。

虽然准确率只有60%,但也是及格了,而且比原版GPT的40%已经好了太多。

化整为零,逐步解决

开发者将SmartGPT中的环节形象地比作了职场中的角色:

“甲方”:SmartGPT用户。“经理”:和“甲方”对接,把任务拆分成高级子任务并逐一汇报给“老板”。“老板”:制定计划,将高级子任务再次拆分,并分发给“员工”。“员工”:接收任务,编写伪代码,交给“小黄人”执行。“小黄人”:将伪代码优化成LUA脚本并运行。

作为“甲方”的用户,需要做的只是像使用普通GPT一样输入自己的问题,而不必给出额外指令

SmartGPT会帮助用户把问题拆分,然后按照步骤提交给GPT。

此前有人发现,在输入给GPT的指令中加入“let’s think step by step”可以提高回复的准确率。

同时,GPT-4具有回溯能力,能够发现并指出自己此前回答中的错误。

以上两个特性为SmartGPT的工作提供了重要支撑。


SmartGPT工作流程图

在用户输入完指令后,SmartGPT对其进行处理拆分,包括添加“let’s think step by step”类似的表述。

然后它会将处理好的指令传至GPT的API,并重复多次获取不同的答案。

接着,SmartGPT会向API发送要求其回溯答案并选择最优解的指令。

最后,将GPT自己选择的最佳答案展示给用户。

上述步骤受到了三篇学术论文的启发(图中白框)。

这三篇论文的内容分别关于“链式提示方式”、“动态记忆及让LLM自我回溯”和“用对话提高LLM完成度”。

和其他工具相比,SmartGPT好在哪

AutoGPT等工具同样可以用来优化GPT,SmartGPT比它们好在哪里呢?

由于其工作原理是将任务进行拆分,会形成逻辑链条,因此SmartGPT拥有更强大的推理能力。

实用性方面,SmartGPT由独立的子模块组成,使用者可以对它们进行任意排列、组合和删改。

此外,无论对于用户还是开发人员,SmartGPT的配置过程都更为简单。

不过开发者也坦言,这个项目刚推出不久,因此稳定性有待考证,在内存优化方面还有所欠缺,消耗的环境资源也更多。

在项目推出之后,有网友表示我们低估了GPT的潜力,甚至包括OpenAI自己。


那么,你期待GPT未来的表现吗?

SmartGPT目前暂无开箱可用版本,需要自行在Linux环境搭建,动手能力强的读者可根据下面的项目页面中的指示体验:

项目地址:https://github.com/Cormanz/smartgpt

目录
打赏
0
0
0
0
471
分享
相关文章
中外AIGC大模型的差距、态势与结构
【1月更文挑战第21天】中外AIGC大模型的差距、态势与结构
431 2
中外AIGC大模型的差距、态势与结构
深度揭秘CoT!普林斯顿耶鲁发布最新报告:大模型既有记忆推理、也有概率推理
普林斯顿大学和耶鲁大学研究人员发布报告,探讨链式思维(CoT)提示对大型语言模型(LLM)推理能力的影响。研究通过移位密码任务,揭示了三个关键因素:任务输出概率、预训练阶段的隐性学习及中间操作数量(噪声推理)。实验使用GPT-4、Claude 3和Llama 3.1模型,发现CoT提示可显著提升模型准确性,但也存在局限性。论文地址:https://arxiv.org/abs/2407.01687。
174 29
MME-CoT:多模态模型推理能力终极评测!六大领域细粒度评估,港中大等机构联合推出
MME-CoT 是由港中文等机构推出的用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景等六个领域,提供细粒度的推理质量、鲁棒性和效率评估。
84 0
|
9月前
|
生成式模型不只会模仿!哈佛、UCSB等最新成果:性能可超越训练集专家水平
【7月更文挑战第23天】研究人员从哈佛大学、UC Santa Barbara等机构展示了生成式模型的新突破:在特定任务上实现超越训练集专家水平的性能。通过“低温度采样”减少模型不确定性,实验中一个名为ChessFormer的模型在下棋任务上表现出了超越性,即性能超过了训练集中专家的平均水平。这项工作揭示了生成式模型在特定条件下实现超越的可能性,为该领域的研究和应用提供了新视角。[论文](https://arxiv.org/pdf/2406.11741)
56 2
可信度超越GPT-4V,清华&面壁揭秘小钢炮模型背后的高效对齐技术
【6月更文挑战第15天】清华大学与面壁智能合作的RLAIF-V框架挑战GPT-4V,通过开源AI反馈增强大语言模型的可信度。该框架利用开放数据和在线学习优化对齐,减少幻觉错误,12B参数模型表现超越GPT-4V。虽有数据质量和稳定性问题,但展示出开源MLLMs潜力。[链接: https://arxiv.org/abs/2405.17220]
168 1
|
11月前
|
谷歌重磅发布AlphaFold 3,增强人类发现新药方法!
【5月更文挑战第19天】谷歌DeepMind推出AlphaFold 3,这是人工智能在生物分子结构预测上的新里程碑,有望革新药物发现。相较于前代,AlphaFold 3采用新扩散基架构,提升预测复杂结构的准确性,并在蛋白质-配体、蛋白质-核酸及抗体-抗原相互作用预测上展现优越性能。然而,科学家对其预测误差和可能对现有预测工具的影响持谨慎态度。论文链接:[Nature](https://www.nature.com/articles/s41586-024-07487-w#citeas)
101 9
贾佳亚团队新模型对标ChatGPT+DALL-E 3王炸组合!
【4月更文挑战第15天】贾佳亚团队推出Mini-Gemini模型,旨在缩小与GPT-4和Gemini的性能差距。该模型采用双视觉编码器处理高分辨率图像,提升视觉对话和推理准确性。搭配高质量数据集,增强图像理解和推理能力。Mini-Gemini在零样本基准测试中表现出色,尤其在高分辨率图像处理上。不过,模型在复杂视觉推理和计数能力上仍有改进空间。
67 1
贾佳亚团队新模型对标ChatGPT+DALL-E 3王炸组合!
【大模型】LLM研究和开发的一些新兴趋势
【5月更文挑战第7天】【大模型】LLM研究和开发的一些新兴趋势
ICLR 2024:RLHF有了通用平台和基准,天大开源,专攻现实决策场景
【4月更文挑战第21天】天津大学在ICLR 2024发布RLHF新框架Uni-RLHF,以人类反馈引导强化学习,降低奖励函数设计需求,适应现实决策场景。该框架提供通用平台和基准,支持大规模众包注释,促进研究。尽管面临准确捕捉人类反馈、数据质量和多任务处理等挑战,但开源特性加速了学术进步。[链接](https://arxiv.org/abs/2402.02423)
176 0
18LLM4SE革命性技术揭秘:大型语言模型LLM在软件工程SE领域的全景解析与未来展望 - 探索LLM的多维应用、优化策略与软件管理新视角【网安AIGC专题11.15】作者汇报 综述
18LLM4SE革命性技术揭秘:大型语言模型LLM在软件工程SE领域的全景解析与未来展望 - 探索LLM的多维应用、优化策略与软件管理新视角【网安AIGC专题11.15】作者汇报 综述
850 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等