MetaLlama大模型

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: LLaMA 是一组基础语言模型,参数范围从 7B 到 65B,在大量公开数据上训练而成,性能优异。Llama 2 为 LLaMA 的升级版,参数规模扩大至 70 亿至 700 亿,特别优化了对话功能。Code Llama 基于 Llama 2 开发,专注于代码生成,提供不同参数规模的模型。这些模型可在多种平台上运行,包括官方 API、第三方封装库如 llama.cpp 和 ollama,以及通过 Hugging Face 的 transformers 库使用。此外,还提供了详细的模型申请及使用指南,便于开发者快速上手。相关链接包括 Meta 官方页面和 GitHub 仓库。

llama 大模型介绍

我们介绍 LLaMA,这是一个基础语言模型的集合,参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而无需诉诸专有的和无法访问的数据集。特别是,LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B),

llama2 大模型介绍

我们开发并发布了 Llama 2,这是一组经过预训练和微调的大型语言模型 (LLM),其参数规模从 70 亿到 700 亿不等。我们经过微调的大语言模型(称为 Llama 2-Chat)针对对话用例进行了优化。我们的模型在我们测试的大多数基准上都优于开源聊天模型,并且根据我们对有用性和安全性的人工评估,可能是闭源模型的合适替代品

相关网址

llama 大语言模型提供的主要模型列表

image.png

Code Llama 模型

Code Llama 是一个基于 Llama 2 的大型代码语言模型系列,在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。我们提供多种风格来覆盖广泛的应用程序:基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct),每个模型都有 7B、13B 和 34B 参数。所有模型均在 16k 个标记序列上进行训练,并在最多 100k 个标记的输入上显示出改进。7B 和 13B Code Llama 和 Code Llama - 指令变体支持基于周围内容的填充。Code Llama 是通过使用更高的代码采样对 Llama 2 进行微调而开发的。与 Llama 2 一样,我们对模型的微调版本应用了大量的安全缓解措施。有关模型训练、架构和参数、评估、负责任的人工智能和安全性的详细信息,请参阅我们的研究论文。Llama 材料(包括 Code Llama)的代码生成功能生成的输出可能受第三方许可的约束,包括但不限于开源许可。

Code Llama 提供的主要模型列表

Base Model Python Instruct
7B codellama/CodeLlama-7b-hf codellama/CodeLlama-7b-Python-hf codellama/CodeLlama-7b-Instruct-hf
13B codellama/CodeLlama-13b-hf codellama/CodeLlama-13b-Python-hf codellama/CodeLlama-13b-Instruct-hf
34B codellama/CodeLlama-34b-hf codellama/CodeLlama-34b-Python-hf codellama/CodeLlama-34b-Instruct-hf

申请模型

申请地址 https://ai.meta.com/resources/models-and-libraries/llama-downloads/

申请通过后,在 hugging face 上如果邮箱一致,会提示已经授权

image.png

使用模型

  • 使用官方的 Api
  • 使用第三方封装 Api llama.cpp-python ollama
  • 使用 langchain
  • 使用 hugging face 的 transformers

llama

https://github.com/facebookresearch/llama

torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir llama-2-7b/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4

NCCL 错误

RuntimeError: Distributed package doesn't have NCCL built in

windows 和 mac 上基本跑不起来,因为 torchrun 依赖 NCCL

https://pytorch.org/docs/stable/distributed.html

llama.cpp

https://github.com/ggerganov/llama.cpp

Port of Facebook's LLaMA model in C/C++

因为很多同学受限于个人电脑的环境,没法运行完整的 llama 模型。llama.cpp 提供了一个非常好的移植版本,可以降低电脑的硬件要求,方便个人电脑运行与测试。

下载

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

make

模型转换

通过对模型进行转化,可以降低资源消耗。

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model
  # [Optional] for models using BPE tokenizers
  ls ./models
  65B 30B 13B 7B vocab.json

# install Python dependencies
python3 -m pip install -r requirements.txt

# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/

  # [Optional] for models using BPE tokenizers
  python convert.py models/7B/ --vocabtype bpe

# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY


# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

此步可以省略,直接下载别人转换好的量化模型即可。

https://huggingface.co/TheBloke/Llama-2-7b-Chat-GGUF

运行

命令行交互模式

./main -m ./models/llama-2-7b.Q4_0.gguf -i   -n 256 --color

开启 server 模式,访问 http://127.0.0.1:8080/

./server -m ./models/llama-2-7b.Q4_0.gguf

llama-cpp-python

https://github.com/abetlen/llama-cpp-python

pip install llama-cpp-python

mac m1 上构建的时候需要加上特殊的参数


CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall

启动 Api 模式

pip install llama-cpp-python[server]
python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf
python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf --n_gpu_layers 1

访问 http://localhost:8000/docs 可以看到 api 的文档,与 openai 兼容。

ollama

(base) hogwarts: ~ seveniruby$ ollama serve codellama:7b
2023/10/08 02:31:04 images.go:987: total blobs: 6
2023/10/08 02:31:04 images.go:994: total unused blobs removed: 0
2023/10/08 02:31:04 routes.go:535: Listening on 127.0.0.1:11434

api 文档 https://github.com/jmorganca/ollama/blob/main/docs/api.md

基于 langchain 使用 llama

使用 langchain 调用


def test_llama_cpp_local():
    """
    使用本地模型
    :return:
    """
    llm = Llama(model_path="/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf")
    output = llm("Q: 法国的首都在哪里\n A: ", echo=True, max_tokens=6, temperature=0)
    debug(json.dumps(output, indent=2, ensure_ascii=False))

输出

{
   
   
  "id": "cmpl-6d3e491e-716f-4e6c-b167-4f52e3f9786f",
  "object": "text_completion",
  "created": 1696709780,
  "model": "/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf",
  "choices": [
    {
   
   
      "text": "Q: 法国的首都在哪里\n A: 巴黎。\n",
      "index": 0,
      "logprobs": null,
      "finish_reason": "length"
    }
  ],
  "usage": {
   
   
    "prompt_tokens": 18,
    "completion_tokens": 6,
    "total_tokens": 24
  }
}

使用 langchain 结合 api 服务


def test_llama_cpp_local():
    """
    使用本地模型
    :return:
    """
    llm = Llama(model_path="/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf")
    output = llm("Q: 法国的首都在哪里\n A: ", echo=True, max_tokens=6, temperature=0)
    debug(json.dumps(output, indent=2, ensure_ascii=False))

基于 langchain 与 hugging face

def test_pipeline():
    pipe = pipeline(
        "text-generation",
        model="meta-llama/Llama-2-7b-hf",
        torch_dtype=torch.float16,
        device='mps',  # 按需改成你的cuda或者cpu
        revision='main',
    )
    debug(pipe)

debug(pipe('法国的首都在哪里'))
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
搜索推荐 安全 UED
浅谈AARRR模型
浅谈AARRR模型
|
4月前
|
存储 人工智能 自然语言处理
大模型时代
【7月更文挑战第6天】大模型时代
64 5
|
19天前
|
机器学习/深度学习 自然语言处理
MGTE系列模型
【10月更文挑战第15天】
48 9
|
3月前
|
人工智能 算法 搜索推荐
你觉得大模型时代该出现什么?
【8月更文挑战第11天】大模型时代展望关键技术与基础设施升级,如量子计算支持、模型优化及专用芯片;模型层面探索多模态融合与自我解释能力;应用场景涵盖智能医疗、教育及城市管理等;社会人文领域则涉及新职业培训与伦理法规建设。
|
2月前
|
机器学习/深度学习
什么是领域大模型?
什么是领域大模型?
138 0
|
6月前
大模型,到底是什么“大”?
【1月更文挑战第19天】大模型,到底是什么“大”?
292 1
大模型,到底是什么“大”?
|
6月前
|
自然语言处理 知识图谱
你了解SCQA模型吗?
你了解SCQA模型吗?
440 0
你了解SCQA模型吗?
|
6月前
|
安全 JavaScript Unix
BLP 模型
BLP 模型
181 3
|
6月前
使用xxmix9realistic_v40.safetensors模型
使用xxmix9realistic_v40.safetensors模型
272 0