最近，一个由10位明星研究员组成的团队成功微调了Llama 3.1 405B模型，并发布了他们的研究成果。这个名为Hermes 3的模型在多个公共基准测试中取得了最先进的性能，成为开源模型中的佼佼者。
Hermes 3是一个中性对齐的通用指令和工具使用模型，具有强大的推理和创造能力。它由Nous Research的研究人员开发，旨在为用户提供更易于控制和交互的大型语言模型。
与传统的“基础”或“基石”模型不同，Hermes 3被优化为响应命令性陈述。这意味着用户可以更轻松地向模型提出请求或问题，并期望得到有用的回答。这种设计使得Hermes 3成为一种更适合日常使用的工具，而不仅仅是一个研究对象。
Hermes 3的研究人员使用了一种名为“聊天”的训练范式，这在ChatGPT及其后代模型中得到了普及。通过这种方式，他们能够将一个基础模型训练成一个有用的助手，能够根据用户的请求提供有用的信息。
为了进一步提高Hermes 3的可控性，研究人员还添加了其他功能，如系统提示和工具使用。系统提示是一种元命令，可以指导模型如何解释所有进一步的指令。工具使用则允许模型请求外部计算或数据检索，并将结果附加到请求中，以便进行自回归生成。
Hermes 3的研究人员还强调了他们的模型在推理和创造能力方面的优势。他们通过在各种合成推理任务和创造性应用（如角色扮演和创意写作）上进行训练，实现了这一目标。这使得Hermes 3能够处理各种复杂的任务，并生成高质量的输出。
然而，Hermes 3也存在一些潜在的缺点。首先，由于它是一个微调模型，它的性能可能受到基础模型的限制。其次，由于它是一个开源模型，它的安全性和隐私性可能不如商业模型。最后，由于它是一个大型语言模型，它的计算成本可能很高。
论文地址：https://nousresearch.com/wp-content/uploads/2024/08/Hermes-3-Technical-Report.pdf
