iPhone、Mac上都能跑,刷屏的Llama 2究竟性能如何?(1)

简介: iPhone、Mac上都能跑,刷屏的Llama 2究竟性能如何?

虽然性能仍不及ChatGPT 3.5,但开源的力量是无法估量的。


昨天凌晨,相信很多人都被 Meta 发布的 Llama 2 刷了屏。OpenAI 研究科学家 Andrej Karpathy 在推特上表示,「对于人工智能和 LLM 来说,这确实是重要的一天。这是目前能够把权重提供给所有人使用的最为强大的 LLM。」

对于开源社区来说,这个大模型就是「全村的希望」。它的出现将进一步缩小开源大模型与闭源大模型的差距,让所有人都有机会基于它构建自己的大模型应用。

因此,在过去的 24 个小时,Llama 2 成了所有社区成员关注的焦点。大家都在谈论它的性能、部署方法以及可能带来的影响。为了让大家在第一时间了解这些信息,我们在这篇文章中进行了总结。

Llama 2 性能究竟如何?

在展示评测结果之前,我们先来梳理一下 Llama 2 的基本信息:

  • 包含 70 亿、130 亿和 700 亿三种参数变体,此外还训练了 340 亿参数变体,但并没有发布,只在技术报告中提到了。
  • 在 2 万亿的 token 上进行训练,相比于 Llama 1,训练数据多了 40%,精调 Chat 模型是在 100 万人类标记数据上训练的。
  • 支持的上下文 token 长度翻倍,由原来的 2048 升级到 4096。
  • 免费可商用,但日活大于 7 亿的产品需要单独申请商用权限。


在 Llama 2 发布后,整个 Llama 项目的 Github star 量正在逼近 30k。

在 Meta 发布的论文中,我们还可以看到 Llama 2 的一些性能情况:

  • Llama 2 70B 在 MMLU 和 GSM8K 上得分接近 GPT-3.5,但在编码基准上存在显著差距。
  • 在几乎所有基准上,Llama 2 70B 的结果均与谷歌 PaLM (540B) 持平或表现更好,不过与 GPT-4 和 PaLM-2-L 的性能仍存在较大差距。


也就是说,即使是参数量最大的 Llama 2 70B,性能目前也没有超过 GPT-3.5,距离 GPT-4 差距更大。

为了测试一下 Llama 2 的实力,各路网友都在想办法对其展开测试,比如让他根据一些「荒唐」的信息写一封公司邮件。

还有人已经开始直播 Llama 2 和其他类 ChatGPT 产品的 PK:

在测试过程中,大家发现了一些问题,比如 Llama 2 受到的 RLHF 训练似乎太多了点,这导致它非常守规矩:

在一位开发者制作的免费应用程序中,机器之心也上手体验了一把。

首先,我们问一下 Llama 2 能做什么?Llama 2 回答道:「我可以帮助你处理各种任务,比如回答问题、提供信息,甚至帮助你完成日常任务。我只是一个人工智能,无法在现实中执行任务,但我可以为你提供你需要的信息或帮助……」。从语言上来看,Llama 2 支持中文输入,但回答基本都用英文,中文理解、生成能力有限。

相关文章
|
7月前
|
存储 传感器 监控
【MAC】iStatistica Pro — 硬件性能状态监控工具
【MAC】iStatistica Pro — 硬件性能状态监控工具
|
7月前
|
Web App开发 小程序 网络安全
Mac Charles 抓包 iPhone Https(详细流程)
Mac Charles 抓包 iPhone Https(详细流程)
737 2
|
人工智能 编解码 物联网
iPhone、Mac上都能跑,刷屏的Llama 2究竟性能如何?(2)
iPhone、Mac上都能跑,刷屏的Llama 2究竟性能如何?
291 0
|
机器学习/深度学习 人工智能 测试技术
神经引擎这回行了吗?iPhone 14 Core ML性能测评已出
神经引擎这回行了吗?iPhone 14 Core ML性能测评已出
188 0
|
数据采集 Web App开发 前端开发
windows、mac、iphone微信多开、防撤回功能2022-09-07最新教程
本文讲的是vx多开、防撤回两个功能,包含windows系统、mac系统还有iphone。iphone不支持ios16版本。因为我会不断的更新,如果发现版本不一样,不需要担心,教程还是一样的,只是更新了包而已。 作者:安哥说前端 https://www.bilibili.com/read/cv18482372 出处:bilibili
1906 0
|
Linux iOS开发 Windows
iphone14手机投屏到mac电脑最新教程
AirServer 是我最早接触到的 iOS 投电脑的软件。现在 AirServer 产品线已经丰富到“吓人”的地步,包含了投屏电脑(Windows、Surface、Mac)、游戏机(XBox)、电视(PhilipsTV)、嵌入式Linux设备对应版本的应用,甚至还提供了类似盒子 / AppleTV 的硬件解决方案 AirServer Connect。
538 0
|
Web App开发 iOS开发 开发者
iPhone 与 Mac 接力失效解决方法
iPhone 与 Mac 接力失效解决方法
1646 0
iPhone 与 Mac 接力失效解决方法
|
3月前
|
iOS开发 MacOS Windows
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
|
1月前
|
开发工具 iOS开发 开发者
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在 Mac 上安装 DevEco Studio
本篇将专注于如何在 Mac 上安装鸿蒙开发工具 DevEco Studio,确保开发环境能够顺利搭建。完成安装后,可以正式开始鸿蒙应用的开发工作。
101 1
「Mac畅玩鸿蒙与硬件2」鸿蒙开发环境配置篇2 - 在 Mac 上安装 DevEco Studio
|
2月前
|
机器学习/深度学习 Python
【10月更文挑战第5天】「Mac上学Python 6」入门篇6 - 安装与使用Anaconda
本篇将详细介绍如何在Mac系统上安装和配置Anaconda,如何创建虚拟环境,并学习如何使用 `pip` 和 `conda` 管理Python包,直到成功运行第一个Python程序。通过本篇,您将学会如何高效地使用Anaconda创建和管理虚拟环境,并使用Python开发。
78 4
【10月更文挑战第5天】「Mac上学Python 6」入门篇6 - 安装与使用Anaconda