2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

简介: 这篇文章是一份关于Ollama工具的一站式使用指南,涵盖了在Windows系统上安装、使用和定制服务,以及实战案例。

2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

文章目录

  • 2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例
  • 一、前言
    • 1.Ollama介绍
    • 2.支持的操作系统
  • 二、Ollama的安装
    • 1. 方法一:官网渠道安装
    • 2. 方法二:百度网盘下载并安装
  • 三、Ollama的使用
    • 1. 控制台使用
      • (1)拉取并运行模型
      • (2)查询目前ollama已下载的模型
      • (3)查询模型信息
      • (4)删除模型
    • 2. REST API服务使用
      • (1)ollama 服务启动
      • (2)ollama服务使用
    • 3. Python 调用
      • (1)ollama的库和工具
      • (2)ollama-python使用
  • 四、ollama web端

一、前言

各位未来的开发者们请上座,下面教程走完大致需要40分钟就可以让掌握大模型本地化部署与使用。

1.Ollama介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口,用于创建、运行和管理这些模型,同时还提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单,无论是对于开发者还是对于终端用户。

2.支持的操作系统

Ollama支持多种操作系统和Docker,包括但不限于:

  • macOS:适用于所有现代版本的macOS。
  • Windows:支持Windows 10及更高版本。
  • Linux:支持多种Linux发行版,如Ubuntu、Fedora等。
  • Docker:通过Docker容器,Ollama可以在几乎任何支持Docker的环境中运行。

这种广泛的操作系统支持确保了Ollama的可用性和灵活性,使得不同环境下的用户都能轻松使用。当然为了确保文章篇幅不过于臭长,只讲了Windows的部分,其他系统如果想要欢迎在下面留言。

二、Ollama的安装

安装Ollama的步骤相对简单,在这里我主要从两个方法:1、官方路径下载。2、百度网盘下载。方法一可以确保你载的一定是最新的,不过会有一些步骤。方法二则比较便捷。

1. 方法一:官网渠道安装

官方网页:https://ollama.com/download/windows
在这里插入图片描述

  1. 访问官方网站:打开浏览器,访问Ollama的官方网站。

  2. 注册并登录:进入官网后注册并登录

  3. 下载安装包:选择Windows,选择相应的安装包进行下载。

  4. 运行安装程序:下载完成后,运行安装包,按照提示完成安装即可没有什么需要特别注意的。在这里插入图片描述

  5. 验证安装:安装完成后,可以通过命令行输入ollama --version命令来验证是否安装成功。在这里插入图片描述
    注:官方的windows包不是很稳定,没登录载必报错。登录载概率报错。遇到一直这种情况,可以试试更换vpn的服务器。一直解决不了请采用方法二:百度网盘。

2. 方法二:百度网盘下载并安装

通过网盘分享的文件:OllamaSetup.exe
链接: https://pan.baidu.com/share/init?surl=H\_gzQ5mQaGxx7cU5f6LPXw?pwd=55kn
提取码: 55kn
后面的第四步与第五步与方法一相同

三、Ollama的使用

1. 控制台使用

(1)拉取并运行模型

ollama run 目标模型:大小

比如:ollama run qwen2:0.5b
比如:ollama run llama3.1
在这里插入图片描述
我怎么知道目标模型有多少B,以及如何查看ollama支持哪些模型怎么安装呢?可以在ollama的models界面找模型,点进去可以看到这个模型的介绍以及有多少种型号:https://ollama.com/library
在这里插入图片描述

(2)查询目前ollama已下载的模型

ollama list

在这里插入图片描述

(3)查询模型信息

ollama show qwen2:0.5b

(4)删除模型

ollama rm qwen2:0.5b

2. REST API服务使用

(1)ollama 服务启动

在浏览器中输入http://localhost:11434
如果看到:Ollama is running
说明Ollama的服务已经自动启动成功,没有发生端口冲突导致的服务自动启动失败。
如果有异常,说端口冲突,(1)杀掉11434端口的进程。(2)修改ollama的服务监听端口。
针对(2)可以临时修改端口并启动服务:

set OLLAMA_HOST=127.0.0.1:11436
ollama serve

(2)ollama服务使用

复制下面这一段curl指令在cmd中运行

curl http://localhost:11434/api/generate -d "{ \"model\": \"qwen2:0.5b\", \"prompt\": \"Why is the sky blue?\" }"

注1:注意curl的端口与ollama启动的端口对应。
注2:如果返回:{“error”:“model “qwen2:0.5b” not found, try pulling it first”}那是因为删除了,重新运行:ollama run qwen2:0.5b 拉取下载

更多API在文档:https://github.com/ollama/ollama/blob/main/docs/api.md

3. Python 调用

(1)ollama的库和工具

在成功安装olama之后,可以利用它提供的多个库和工具来扩展您的开发工作。ollama主要支持Pyhon和JavaScript两种编程语言的库分别是ollama-pythonollama-js,这两个库使得在相应的语言环境中使用ollama变得更加方便和高效。

(2)ollama-python使用

ollama-python 库提供了一个Python接口来与ollama交互,使得Python开发者可以轻松地在他们的项目中集成和运行大型语言模型。

ollama-python安装

pip install ollama

用法

import ollama
response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

流式处理响应
可以通过设置 来启用响应流式处理,修改函数调用以返回 Python 生成器,其中每个部分都是流中的一个对象。stream=True

import ollama

stream = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

注:更多示例请查看:https://pypi.org/project/ollama/
注:如果报错: raise ResponseError(e.response.text, e.response.status_code) from None
ollama._types.ResponseError,可以把梯子关掉再执行一次看看。

四、ollama web端

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
相关文章
|
19天前
|
NoSQL Redis Windows
windows服务器重装系统之后,Redis服务如何恢复?
windows服务器重装系统之后,Redis服务如何恢复?
48 6
|
23天前
|
iOS开发 MacOS Windows
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
|
19天前
|
Java 应用服务中间件 Windows
windows服务器重装系统之后,Tomcat服务如何恢复?
windows服务器重装系统之后,Tomcat服务如何恢复?
38 10
|
19天前
|
消息中间件 Java Kafka
windows服务器重装系统之后,Kafka服务如何恢复?
windows服务器重装系统之后,Kafka服务如何恢复?
19 8
|
13天前
|
存储 JavaScript 前端开发
Node 版本控制工具 NVM 的安装和使用(Windows)
本文介绍了NVM(Node Version Manager)的Windows版本——NVM for Windows的安装和使用方法,包括如何安装Node.js的特定版本、列出已安装版本、切换使用不同版本的Node.js,以及其他常用命令,以实现在Windows系统上对Node.js版本的便捷管理。
Node 版本控制工具 NVM 的安装和使用(Windows)
|
13天前
9-14|npm install --global windows-build-tools 安装太慢了,能够指定国内源
9-14|npm install --global windows-build-tools 安装太慢了,能够指定国内源
|
1月前
|
Windows
Windows操作系统部署安装Kerberos客户端
详细介绍了在Windows操作系统上部署安装Kerberos客户端的完整过程,包括下载安装包、安装步骤、自定义安装路径、修改环境变量、配置hosts文件和Kerberos配置文件,以及安装后的验证步骤。
66 3
Windows操作系统部署安装Kerberos客户端
|
29天前
|
SQL JavaScript 数据库
sqlite在Windows环境下安装、使用、node.js连接
sqlite在Windows环境下安装、使用、node.js连接
|
21天前
|
监控 Windows
Windows服务器的服务如何实现自动启动?
Windows服务器的服务如何实现自动启动?
37 1
|
3天前
|
并行计算 开发工具 异构计算
在Windows平台使用源码编译和安装PyTorch3D指定版本
【10月更文挑战第6天】在 Windows 平台上,编译和安装指定版本的 PyTorch3D 需要先安装 Python、Visual Studio Build Tools 和 CUDA(如有需要),然后通过 Git 获取源码。建议创建虚拟环境以隔离依赖,并使用 `pip` 安装所需库。最后,在源码目录下运行 `python setup.py install` 进行编译和安装。完成后即可在 Python 中导入 PyTorch3D 使用。