Orca LLM:模拟 ChatGPT 的推理过程

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: Orca 是一个 13B 参数模型,它学习模仿 LFM 的推理过程。它使用ChatGPT的渐进式学习和教师协助来克服能力差距。通过利用来自 GPT-4 的丰富信号,Orca 增强了其功能并提高模仿学习性能。
推荐:使用 NSDT场景编辑器 快速搭建3D应用场景

介绍

在大型语言模型(LLM)领域,人们一直在追求在不影响其效率的情况下增强小型模型的功能。传统的方法是使用模仿学习,其中较小的模型从大型基础模型(LFM)生成的输出中学习。然而,这种方法受到一些挑战的损害,包括来自浅层LFM输出的有限模仿信号,小规模的同质训练数据以及缺乏严格的评估。这通常会导致较小的模型模仿LFM的风格,而不是推理过程。

论文Orca:从GPT-4的复杂解释痕迹中逐步学习介绍了Orca,这是一个13亿参数模型,旨在模仿GPT-4等大型基础模型(LFM)的推理过程。与传统的大型语言模型(LLM)不同,Orca采用独特的培训方法,将渐进式学习和教师协助相结合,以克服较小的学生模型与较大的学生模型之间的能力差距。

培训方法

逆戟鲸的训练过程包括两个阶段。

在第一阶段,逆戟鲸接受 FLAN-5M 训练,其中包括 ChatGPT 增强。这个中级助教有助于弥合 Orca 和 GPT-4 之间的容量差距,后者的参数大小要大得多。通过利用 ChatGPT 的功能,Orca 受益于改进的模仿学习性能。

在第二阶段,逆戟鲸接受 FLAN-1M 的训练,其中包括 GPT-4 增强。这种渐进式学习方法遵循课程学习范式,学生模式从更简单的例子中学习,然后再处理更具挑战性的例子。通过逐渐让逆戟鲸接触越来越复杂的推理和逐步解释,该模型增强了其推理能力和模仿能力。

优势和贡献

与传统的LLM相比,Orca的培训方法具有几个优势。

首先,它通过利用中级教师模型解决了能力差距问题,使Orca能够从更有能力的来源学习。这种方法已被证明可以提高较小学生模型的模仿学习性能。

其次,Orca训练的渐进式学习方面使模型能够逐步建立其知识。通过从更简单的例子开始,逐渐引入更复杂的例子,Orca为推理和解释的生成奠定了更坚实的基础。

此外,Orca模仿GPT-4等LFM的推理过程的能力为提高各种任务的性能开辟了可能性。通过利用 GPT-4 的解释轨迹和分步思维过程提供的丰富信号,Orca 获得了宝贵的见解并提高了自己的能力。

性能基准

Orca在复杂的零镜头推理基准测试中表现出色。它的性能优于传统的最先进的指令调整模型,如Vicuna-13B,在Big-Bench Hard(BBH)等基准上超过100%,在AGIEval上超过42%。此外,Orca 在 BBH 基准测试中取得了与 ChatGPT 相同的分数,并在 SAT、LSAT、GRE 和 GMAT 等专业和学术考试中表现出有竞争力的表现。考虑到这些是没有思维链的零镜头设置,这尤其令人印象深刻,而且 Orca 在落后于 GPT-4 的同时仍然具有竞争力。

影响和未来方向

逆戟鲸的发展代表了LLM领域的重大进步。通过从丰富的信号中学习并模仿LFM的推理过程,Orca能够以高度的准确性执行复杂的推理任务。这具有广泛的影响,特别是在需要复杂推理和解决问题的领域。

此外,这项研究表明,从分步AI模型解释中学习是提高模型能力的一个有希望的方向。这为法学硕士领域的研究和开发开辟了新的途径。

结论

Orca提出了一种训练大型语言模型的新方法,将渐进式学习和教师协助相结合,以增强模仿学习。通过利用中级教师模型,逐步将学生模型暴露给更复杂的例子,Orca克服了能力差距,提高了推理和解释生成能力。该论文的发现有助于模仿学习技术的进步,并对未来语言模型的发展产生影响。


原文链接:https://www.mvrlink.com/orca-llm-simulating-the-reasoning-processes-of-chatgpt/

目录
相关文章
|
2月前
|
存储 弹性计算 调度
基于Knative的LLM推理场景弹性伸缩方案
Knative的基于请求弹性配置与大语言模型(LLM)的推理场景高度契合。此外,它的资源降配特性可以显著帮助用户降低成本。本文详细介绍基于 Knative 的 LLM 推理场景弹性伸缩方案。
|
8天前
|
机器学习/深度学习 存储 缓存
LLM高效推理:KV缓存与分页注意力机制深度解析
随着大型语言模型(LLM)规模和复杂性的增长,高效推理变得至关重要。KV缓存和分页注意力是优化LLM推理的两项关键技术。KV缓存通过存储键值对减少重复计算,而分页注意力则通过将序列分割成小块来降低内存消耗,从而有效处理长序列。本文深入剖析这些技术的工作原理及其在仅解码器模型中的应用,探讨其优势与挑战,并展示其实现示例。
42 16
LLM高效推理:KV缓存与分页注意力机制深度解析
|
16天前
|
机器学习/深度学习 人工智能 测试技术
仅7B的模型数学推理能力完虐70B?MIT哈佛推出行动思维链COAT让LLM实现自我反思并探索新策略
Satori 是由 MIT 和哈佛大学等机构联合推出的 7B 参数大型语言模型,专注于提升推理能力,具备强大的自回归搜索和自我纠错功能。
87 6
仅7B的模型数学推理能力完虐70B?MIT哈佛推出行动思维链COAT让LLM实现自我反思并探索新策略
|
1天前
|
存储 Kubernetes 测试技术
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
22 12
|
2月前
|
人工智能 知识图谱 Docker
KAG:增强 LLM 的专业能力!蚂蚁集团推出专业领域知识增强框架,支持逻辑推理和多跳问答
KAG 是蚂蚁集团推出的专业领域知识服务框架,通过知识增强提升大型语言模型在特定领域的问答性能,支持逻辑推理和多跳事实问答,显著提升推理和问答的准确性和效率。
584 46
KAG:增强 LLM 的专业能力!蚂蚁集团推出专业领域知识增强框架,支持逻辑推理和多跳问答
|
2月前
|
自然语言处理
Nature:人类亲吻难题彻底难倒LLM,所有大模型全部失败!LLM根本不会推理,只是工具
近期,《自然》杂志发表的研究显示,所有大型语言模型(LLM)在解释特定情境下人类亲吻行为时均失败。尽管LLM在语言处理和文本生成上表现出色,但在理解和推理复杂人类行为方面存在显著限制,表明其缺乏对人类情感、社会及文化背景的深入理解。专家认为LLM更像是工具而非智能体,虽在客户服务、内容创作等领域有价值,但在复杂推理和理解方面仍显不足。
88 37
|
21天前
|
存储 Kubernetes 测试技术
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
本教程演示如何在ACK中使用vLLM框架快速部署DeepSeek R1模型推理服务。
|
2月前
|
并行计算 API 调度
加速大语言模型推理:NVIDIATensorRT-LLM更新
本次分享由NVIDIA亚太区资深总监李曦鹏主讲,聚焦于加速大语言模型推理的挑战与解决方案。内容涵盖大模型推理优化、性能提升策略及KVCash在用户请求处理中的应用。通过TensorRT-LLM的更新,NVIDIA提供了高性能推理引擎和多种优化技术,如KVCache优化、InflightBatching等,大幅提升了大模型的推理效率。此外,还介绍了与魔搭社区的合作,支持超过50个主流模型的一键部署,显著降低了使用门槛和成本。
102 1
|
3月前
|
JSON 人工智能 算法
探索大型语言模型LLM推理全阶段的JSON格式输出限制方法
本篇文章详细讨论了如何确保大型语言模型(LLMs)输出结构化的JSON格式,这对于提高数据处理的自动化程度和系统的互操作性至关重要。
|
2月前
|
机器学习/深度学习 人工智能 缓存
基于英特尔平台加速 AI 应用及 LLM 推理性能介绍|龙蜥大讲堂第115期
本文摘自龙蜥大讲堂英特尔 AI 软件工程师黄文欢的分享,主要包括以下三个方面的内容: 1. 第五代英特尔至强处理器 2. LLM 推理加速框架 xFast Transformer 及其优化策略 3. 性能数据及 Demo 展示