ollama 大模型部署 工具 | AIGC

简介: Ollama是一个集成了多种大型语言模型的工具,它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式,并具备丰富的命令行界面(CLI)和API接口,使得用户可以轻松地管理和运行大型模型。【10月更文挑战第1天】

ollama 大模型部署

Ollama是一个集成了多种大型语言模型的工具,它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式,并具备丰富的命令行界面(CLI)和API接口,使得用户可以轻松地管理和运行大型模型。

yyq-2024-08-10-00-38-00.png

一、安装

Ollama的安装方式因操作系统而异,以下是主要操作系统的安装步骤:

macOS

  1. 安装Homebrew(如果尚未安装):

    • 打开终端,输入以下命令安装Homebrew:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  2. 安装Ollama

    • 在终端中输入brew install ollama命令进行安装。
  3. 验证安装

    • 安装完成后,可以通过输入ollama --version来验证Ollama是否安装成功。

Windows

  1. 下载安装包

    • 访问Ollama的官方网站,下载适用于Windows的安装包。
  2. 运行安装包

    • 双击下载的安装包,按照提示完成安装。默认安装路径通常为C:\Users\{你的电脑账户名}\AppData\Local\Programs\Ollama
  3. 配置环境变量(如遇到ollama命令无法使用的情况):

    • 控制面板 → 系统 → 高级系统设置 → 环境变量 → 在系统变量中找到Path → 编辑 → 新建,添加Ollama的安装路径。
  4. 验证安装

    • 打开命令提示符,输入ollama --version来验证安装是否成功。

Linux

  1. 更新包列表(以Debian/Ubuntu为例):

    • 打开终端,输入sudo apt-get update命令。
  2. 安装Ollama

    • 输入curl -fsSL https://ollama.com/install.sh | sh命令进行安装
  3. 验证安装
    • 输入ollama --version来验证安装是否成功。

二、启动

Ollama的启动可以通过命令行完成,使用ollama serve或其别名servestart命令即可启动Ollama服务。Ollama将自动处理模型的加载和配置,无需用户手动干预。

也可以通过sudo systemctl start ollama, 具体的启动service

# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

三、常用命令

Ollama提供了丰富的命令行工具,以下是一些常用命令:

  1. 启动Ollama服务ollama serve
  2. 从模型文件创建模型ollama create [模型名称] -f [模型文件路径]
  3. 显示模型信息ollama show [模型名称]
  4. 运行模型ollama run [模型名称] [输入文本]
  5. 从注册表中拉取模型ollama pull [模型名称]
  6. 将模型推送到注册表ollama push [模型名称]
  7. 列出所有模型ollama list
  8. 复制模型ollama cp [源模型名称] [目标模型名称]
  9. 删除模型ollama rm [模型名称]
  10. 获取帮助信息ollama help

特别的,可以通过ollama ps查看模型运行负载情况

ollama ps
NAME          ID              SIZE     PROCESSOR    UNTIL
llama3:70b    bcfb190ca3a7    42 GB    100% GPU     4 minutes from now

可以通过ollama run qwen2:70b 来下载模型和启动CLI

模型默认在

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users\%username%.ollama\models

四、接口API使用

ollama run模型后会启动一个http服务: localhost:11434,可以通过prompt和chat方式和大模型进行交互


curl http://localhost:11434/api/generate -d '{
  "model": "qwen2:70b",
  "prompt":"Why is the sky blue?"
}'

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}

ollama也提供了openai式的接口

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',

    # required but ignored
    api_key='ollama',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
   
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='llama3',
)

response = client.chat.completions.create(
    model="llava",
    messages=[
        {
   
            "role": "user",
            "content": [
                {
   "type": "text", "text": "What's in this image?"},
                {
   
                    "type": "image_url",
                    "image_url": "",
                },
            ],
        }
    ],
    max_tokens=300,
)

completion = client.completions.create(
    model="llama3",
    prompt="Say this is a test",
)

list_completion = client.models.list()

model = client.models.retrieve("llama3")

embeddings = client.embeddings.create(
    model="all-minilm",
    input=["why is the sky blue?", "why is the grass green?"],
)

五、支持模型

ollama支持绝大多数开源大模型和一些多模态模型

yyq-2024-08-10-01-05-35.png

更全的参考

目录
相关文章
|
3月前
|
决策智能 开发者
手把手教你如何用AIGC大模型写一首歌
本文记录了作者用大模型创作歌曲及视频的全过程。
|
3月前
|
算法 物联网 Serverless
一键打造你的定制化AIGC文生图工具
【8月更文挑战第2天】一键打造你的定制化AIGC文生图工具
134 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC-基于EAS服务快速部署一个AI视频生成
AIGC-基于EAS服务快速部署一个AI视频生成
|
3月前
|
人工智能 自然语言处理 搜索推荐
人工智能的奇妙世界:从 AI 到 AIGC,再到大模型与 AGI
人工智能的奇妙世界:从 AI 到 AIGC,再到大模型与 AGI
149 0
|
4月前
|
机器学习/深度学习 人工智能 大数据
AIGC使用问题之多模态大模型如何升级AIGC的内容创作能力
AIGC使用问题之多模态大模型如何升级AIGC的内容创作能力
|
4月前
|
人工智能
AIGC使用问题之视觉大模型如何提高AIGC的感知能力
AIGC使用问题之视觉大模型如何提高AIGC的感知能力
|
5月前
|
机器学习/深度学习 人工智能 算法
|
5月前
|
机器学习/深度学习 人工智能 JSON
|
5月前
|
人工智能 JavaScript 测试技术
《AIGC+软件开发新范式》--10.阿里云参编业内首个代码大模型标准,通义灵码获 2023 AI4SE “银弹” 案例
在AI 热度持续上升的当下,阿里云推出AI智能编码助手—通义灵码。通义灵码是一款基于阿里云通义代码大模型打造的智能编码助手,基于海量优秀开源代数据集和编程教科书训练,为开发者带来高效、流畅的编码体验。
244 2
|
5月前
|
SQL 人工智能 Devops
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型(1)
在AI 热度持续上升的当下,阿里云推出AI智能编码助手—通义灵码。通义灵码是一款基于阿里云通义代码大模型打造的智能编码助手,基于海量优秀开源代数据集和编程教科书训练,为开发者带来高效、流畅的编码体验。
184 0