虽然性能仍不及ChatGPT 3.5，但开源的力量是无法估量的。
昨天凌晨，相信很多人都被 Meta 发布的 Llama 2 刷了屏。OpenAI 研究科学家 Andrej Karpathy 在推特上表示，「对于人工智能和 LLM 来说，这确实是重要的一天。这是目前能够把权重提供给所有人使用的最为强大的 LLM。」
对于开源社区来说，这个大模型就是「全村的希望」。它的出现将进一步缩小开源大模型与闭源大模型的差距，让所有人都有机会基于它构建自己的大模型应用。
因此，在过去的 24 个小时，Llama 2 成了所有社区成员关注的焦点。大家都在谈论它的性能、部署方法以及可能带来的影响。为了让大家在第一时间了解这些信息，我们在这篇文章中进行了总结。
Llama 2 性能究竟如何？
在展示评测结果之前，我们先来梳理一下 Llama 2 的基本信息：
- 包含 70 亿、130 亿和 700 亿三种参数变体，此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。
- 在 2 万亿的 token 上进行训练，相比于 Llama 1，训练数据多了 40%，精调 Chat 模型是在 100 万人类标记数据上训练的。
- 支持的上下文 token 长度翻倍，由原来的 2048 升级到 4096。
- 免费可商用，但日活大于 7 亿的产品需要单独申请商用权限。
在 Llama 2 发布后，整个 Llama 项目的 Github star 量正在逼近 30k。
在 Meta 发布的论文中，我们还可以看到 Llama 2 的一些性能情况：
- Llama 2 70B 在 MMLU 和 GSM8K 上得分接近 GPT-3.5，但在编码基准上存在显著差距。
- 在几乎所有基准上，Llama 2 70B 的结果均与谷歌 PaLM (540B) 持平或表现更好，不过与 GPT-4 和 PaLM-2-L 的性能仍存在较大差距。
也就是说，即使是参数量最大的 Llama 2 70B，性能目前也没有超过 GPT-3.5，距离 GPT-4 差距更大。
为了测试一下 Llama 2 的实力，各路网友都在想办法对其展开测试，比如让他根据一些「荒唐」的信息写一封公司邮件。
还有人已经开始直播 Llama 2 和其他类 ChatGPT 产品的 PK：
在测试过程中，大家发现了一些问题，比如 Llama 2 受到的 RLHF 训练似乎太多了点，这导致它非常守规矩：
在一位开发者制作的免费应用程序中，机器之心也上手体验了一把。
首先，我们问一下 Llama 2 能做什么？Llama 2 回答道：「我可以帮助你处理各种任务，比如回答问题、提供信息，甚至帮助你完成日常任务。我只是一个人工智能，无法在现实中执行任务，但我可以为你提供你需要的信息或帮助……」。从语言上来看，Llama 2 支持中文输入，但回答基本都用英文，中文理解、生成能力有限。
