马斯克推出Grok-1.5,接近GPT-4级别的性能

简介: 马斯克推出Grok-1.5,接近GPT-4级别的性能

本文来自 企业网D1net公众号

在开放源码Grok-1短短几周后,马斯克的xAI推出了其专有大型语言模型的升级版本——Grok-1.5。


定于下周发布的Grok-1.5带来了增强的推理和解决问题的能力,并接近于已知的开源和闭源的LLM的性能,包括OpenAI的GPT-4和Anthropic的Claude 3。它也能够处理长文本,但在上下文窗口大小方面仍落后于Gemini 1.5 Pro的最多100万个标记。


马斯克指出,Grok-1.5将为xAI在X平台上的ChatGPT挑战者聊天机器人提供支持,而Grok-2(新模型的继任者)仍在训练阶段。他表示,下一个版本应该能够“在所有指标上超越当前的AI”,但没有分享它可能何时变得可用的具体细节。


Grok-1.5带来了什么?


xAI去年11月宣布了Grok-1,称这个AI是以《银河系漫游指南》为模型,几乎可以回答任何问题,以帮助人类在寻求理解和知识的征途中——无论背景或政治观点如何。在GSM8K、HumanEval和MMLU等基准测试中,由xAI分享的数据显示,Grok-1的表现超过了Llama-2-70B和GPT-3.5。


现在,随着Grok-1.5的发布,该公司在先前模型的基础上取得了显著改进,在所有主要基准测试中,包括与编码和数学相关的任务,都实现了显著提升。


xAI在博客文章中指出:“在我们的测试中,Grok-1.5在MATH基准测试中达到了50.6%的分数,在GSM8K基准测试中达到了90%的分数,这两个数学基准测试涵盖了从小学到高中竞赛问题的广泛范围。此外,它在评估代码生成和问题解决能力的HumanEval基准测试中得分为74.1%。”


在MMLU基准测试上,评估AI模型在不同任务上的语言理解能力,新模型得分为81.3%,比Grok-1的73%高出显著幅度。


此外,xAI还确认,Grok-1.5的上下文窗口可达128,000个标记(标记是单词、图像、视频、音频或代码的整个部分或子部分)。这使得模型能够一次性处理和处理大量信息,比Grok-1多16倍,使其更适合分析、总结和提取长文档中的信息。它甚至可以处理更长、更复杂的提示,同时仍然保持遵循指令的能力。


接近OpenAI和Anthropic


凭借增强的推理和解决问题的能力,Grok-1.5不仅在基准测试中胜过其前身,而且还接近流行的开放和封闭源模型,包括Gemini 1.5 Pro、GPT-4和Claude 3。


例如,在MMLU上,Grok-1.5的81.3%得分超过了最近推出的Mistral Large,但落后于Gemini 1.5 Pro(83.7%)、GPT-4(86.4%,


截至2023年3月)和Claude 3 Opus(86.8%)。在GSM8K基准测试上也注意到了类似的差距,xAI模型仅落后于Google、OpenAI和Anthropic的产品。


值得注意的是,Grok-1.5唯一看起来有优势的基准是HumanEval,在那里它的表现超过了所有模型,除了Claude 3 Opus。xAI希望继续这些改进,并通过Grok-2提供进一步的性能提升,据马斯克称,应该在所有指标上超越当前的AI。该模型目前正在训练中。


技术顾问Brian Roemmele表示,根据他与Grok-1的工作,Grok-2“在发布时将成为最强大的LLM AI平台之一。它将在几乎所有指标上超越OpenAI。”


Grok-1.5的可用性


至于Grok-1.5,xAI计划下周开始部署。公司表示,该模型最初将提供给早期测试者和那些已经在X平台(Twitter)上使用Grok聊天机器人的用户——实时访问平台上的所有帖子。推出将分阶段进行,公司将改进模型并引入几个新功能——可能包括一种新的不受限制的有趣模式——同时逐步使其对更广泛的用户群体可用。


当马斯克在X上推出Grok时,被视为推动Grok和X的采用。他首先将AI作为平台的“高级+”订阅的一部分,价格为每月16美元。然而,就在几天前,这位亿万富翁分享说,聊天机器人也将为支付8美元每月的高级订阅者启用。在另一个更新中,他还确认,拥有一定级别的验证订阅者的关注者将免费获得高级和高级+订阅的好处,包括Grok。

相关文章
|
6月前
|
人工智能 Rust Kubernetes
开源11天,马斯克再发Grok-1.5!128K代码击败GPT-4
**马斯克的xAI发布Grok-1.5,超越GPT-4!**\n\nGrok-1.5以128K上下文长度提升文本理解,强化推理能力,在MATH与GSM8K数学测试中展现出色性能,HumanEval代码任务得分74.1%。基于JAX、Rust和Kubernetes的训练框架加速了研发,但更大规模带来资源需求挑战。开源策略促进发展,但也引出滥用与安全问题。
232 3
开源11天,马斯克再发Grok-1.5!128K代码击败GPT-4
|
2月前
|
API 云栖大会
通义千问升级旗舰模型Qwen-Max,性能接近GPT-4o
通义旗舰模型Qwen-Max全方位升级,性能接近GPT-4o
968 11
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
o1医学领域大胜GPT-4,性能暴涨!顶尖华人团队激动发文:离AI医生越来越近了
【10月更文挑战第29天】近日,一支顶尖华人团队发布论文《A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor?》,揭示了OpenAI最新语言模型o1在医学领域的卓越表现。研究显示,o1在概念识别、文本总结、问答等任务上远超GPT-4,显著提升了医学领域的AI应用水平,向实现AI医生的目标迈进了一大步。
28 3
|
2月前
|
人工智能 自然语言处理 算法
魔搭上新啦! 智源千万级指令微调数据集Infinity-Instruct,Llama3.1仅微调即可接近GPT-4
智源研究院在今年6月推出了千万级指令微调数据集Infinity Instruct。Infinity Instruct在 Huggingface等平台发布后,快速到达了Huggingface Dataset的Trending第一
魔搭上新啦! 智源千万级指令微调数据集Infinity-Instruct,Llama3.1仅微调即可接近GPT-4
|
3月前
|
自然语言处理 测试技术 计算机视觉
ECCV 2024:提升GPT-4V、Gemini检测任务性能,你需要这种提示范式
【8月更文挑战第14天】在2024年ECCV上,一篇论文介绍了DetToolChain——一种创新提示范式,旨在提升GPT-4V等多模态大型语言模型在检测任务上的表现。它利用精心设计的视觉提示引导模型关注图像的关键区域,并通过Chain-of-Thought方法将复杂任务分解为简单步骤,显著提高了零样本目标检测的准确性。实验显示,在多个基准测试上,DetToolChain带来了高达24.23%的性能提升。然而,这种方法可能需要大量计算资源,并且在不同任务和数据集上的效果仍有待验证。
177 66
|
2月前
|
数据可视化 Swift
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
|
2月前
|
人工智能 安全 测试技术
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
|
2月前
|
人工智能 自然语言处理 数据挖掘
【通义】AI视界|性能超越GPT-4o?最强大的开源AI模型来了……
本文介绍了五项最新AI技术动态,包括性能超越GPT-4o的开源AI模型Reflection70B、智谱清言App限时免费的视频通话功能、哈佛医学院研发的癌症诊断AI模型CHIEF、Replit推出的AI编程助手,以及英特尔与日本AIST合作设立的芯片制造研发中心。这些进展展示了AI领域的快速创新与广泛应用。更多详情,请访问通义官网体验。
|
2月前
|
机器学习/深度学习 数据采集 人工智能
Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新Scaling Law诞生?
【9月更文挑战第8天】在人工智能领域,理查德·萨顿提出了一项重要观点,即利用通用计算方法最终是最有效的途径,这一理念在诸如计算机象棋、围棋、语音识别及视觉等多个子领域中得到了验证。萨顿强调,计算能力的指数增长使得依赖大量计算的技术更加吸引人,并且从长远来看,计算能力将是唯一重要的因素。尽管他的观点强调了搜索和学习方法的力量,但也有人批评其忽略了领域知识和其他因素的重要性。
39 2
|
4月前
|
测试技术
8B尺寸达到GPT-4级性能!北大等提出医疗专家模型训练方法
【7月更文挑战第8天】北京大学等研究者提出的新方法缓解了大模型如Llama-3-8B在持续预训练时的“稳定性差距”,通过多轮次训练、高质量子语料库选择和数据混合策略,提升性能和效率。在医疗领域,他们将OpenLlama-3B性能提升至40.7%,并创建的Llama-3-Physician模型达到GPT-4级别。尽管取得突破,该方法在其他模型和领域的适用性仍需探索,且持续预训练仍资源密集。[链接: https://arxiv.org/abs/2406.14833]
89 25

热门文章

最新文章