前言
今天Claude3发布了,展现出了比GPT4更强大的效果,各项性能跑分已经全面超越了GPT4。OpenAI也连夜发布了两个新功能来应对此次冲击。
Claude3包括三个模型:Claude 3 Haiku、Claude 3 Sonnet与Claude 3 Opus,性能依次提升。每个模型均提供更高的性能,让用户能根据需求,找到理想的智能、速度及成本平衡。
Openai的应对
OpenAI同时推出了一个新功能,名为“朗读”(Read Aloud)。这个功能允许ChatGPT以五种不同的声音朗读其回复,目的是为了提供更便捷的用户交互体验。这项功能支持37种语言,并能自动检测文本语言进行朗读,适用于GPT-4和GPT-3.5版本的ChatGPT。
此外,OpenAI通过这次更新展示了其在多模态交互方面的努力。此功能现已在ChatGPT的网页端、iOS和安卓应用上线。新的“朗读”功能进一步丰富了用户与聊天机器人的互动方式,用户可以通过移动应用长按文本激活朗读播放器,或在网页端点击文本下方的扬声器图标来使用朗读功能。
大模型的新标准
Opus,Claude最智能的模型,在大多数常见的AI系统评估基准上超越了其同行,包括本科水平的专家知识(MMLU)、研究生水平的专家推理(GPQA)、基础数学(GSM8K)等等。它在复杂任务上展现出接近人类水平的理解和流畅度,引领了通用智能的前沿。
所有Claude 3模型在分析和预测、细腻内容创作、代码生成以及用西班牙语、日语和法语等非英语语言进行交流方面显示出了增强的能力。
以下是Claude 3模型与我们其他常用模型在多个能力基准[1]上的比较:
更快的速度
Claude 3模型能够支持实时客户聊天、自动完成和数据提取任务,其中响应必须是即时的并且实时的。
Haiku是市场上在其智能类别中速度最快、成本最高效的模型。它能够在不到三秒的时间内阅读一个信息和数据密集的arXiv研究论文(约10k令牌),包括图表和图形。启动后,我们预计进一步提高性能。
对于绝大多数工作负载而言,Sonnet的速度是Claude 2和Claude 2.1的两倍,且具有更高水平的智能。它擅长需要快速响应的任务,如知识检索或销售自动化。Opus的速度与Claude 2和2.1相似,但具有更高水平的智能。
强大的视觉能力
Claude 3模型具有与其他领先模型相当的复杂视觉能力。能够处理各种视觉格式,包括照片、图表、图形和技术图纸。能够为企业客户提供新的模式,其中一些客户高达50%的知识库以各种格式编码,如PDF文件、流程图或演示幻灯片。
更少的拒绝回答
以前的Claude模型经常做出不必要的拒绝,这表明缺乏上下文理解。Claude 3在这方面取得了巨大的进展:与前几代模型相比,Opus、Sonnet和Haiku大大降低了拒绝回答接近系统安全边界的提示的可能性。如下所示,Claude 3模型显示出对请求的更细腻理解,识别真正的危害,并且更少拒绝回答无害的提示。
超长上下文记忆
Claude 3系列模型在发布时最初将提供200K的上下文记忆。三个模型都能够接受超过100万token的输入,可能会使这一功能可用于需要增强处理能力的选定客户。
为了有效处理长上下文提示,模型需要强大的回忆能力。'Needle In A Haystack'(NIAH)评估衡量模型从大量数据语料库中准确回忆信息的能力。通过使用每个提示的30个随机针/问题对中的一个,并在一个多样化的众包文档语料库上测试,增强了这个基准的健壮性。Claude 3 Opus不仅实现了接近完美的回忆,准确度超过99%,而且在某些情况下,它甚至识别出评估本身的局限性,通过认识到“针”句子似乎是人为插入到原始文本中的。