2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

简介: 这篇文章是一份关于Ollama工具的一站式使用指南,涵盖了在Windows系统上安装、使用和定制服务,以及实战案例。

2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

文章目录

  • 2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例
  • 一、前言
    • 1.Ollama介绍
    • 2.支持的操作系统
  • 二、Ollama的安装
    • 1. 方法一:官网渠道安装
    • 2. 方法二:百度网盘下载并安装
  • 三、Ollama的使用
    • 1. 控制台使用
      • (1)拉取并运行模型
      • (2)查询目前ollama已下载的模型
      • (3)查询模型信息
      • (4)删除模型
    • 2. REST API服务使用
      • (1)ollama 服务启动
      • (2)ollama服务使用
    • 3. Python 调用
      • (1)ollama的库和工具
      • (2)ollama-python使用
  • 四、ollama web端

一、前言

各位未来的开发者们请上座,下面教程走完大致需要40分钟就可以让掌握大模型本地化部署与使用。

1.Ollama介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口,用于创建、运行和管理这些模型,同时还提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单,无论是对于开发者还是对于终端用户。

2.支持的操作系统

Ollama支持多种操作系统和Docker,包括但不限于:

  • macOS:适用于所有现代版本的macOS。
  • Windows:支持Windows 10及更高版本。
  • Linux:支持多种Linux发行版,如Ubuntu、Fedora等。
  • Docker:通过Docker容器,Ollama可以在几乎任何支持Docker的环境中运行。

这种广泛的操作系统支持确保了Ollama的可用性和灵活性,使得不同环境下的用户都能轻松使用。当然为了确保文章篇幅不过于臭长,只讲了Windows的部分,其他系统如果想要欢迎在下面留言。

二、Ollama的安装

安装Ollama的步骤相对简单,在这里我主要从两个方法:1、官方路径下载。2、百度网盘下载。方法一可以确保你载的一定是最新的,不过会有一些步骤。方法二则比较便捷。

1. 方法一:官网渠道安装

官方网页:https://ollama.com/download/windows
在这里插入图片描述

  1. 访问官方网站:打开浏览器,访问Ollama的官方网站。

  2. 注册并登录:进入官网后注册并登录

  3. 下载安装包:选择Windows,选择相应的安装包进行下载。

  4. 运行安装程序:下载完成后,运行安装包,按照提示完成安装即可没有什么需要特别注意的。在这里插入图片描述

  5. 验证安装:安装完成后,可以通过命令行输入ollama --version命令来验证是否安装成功。在这里插入图片描述
    注:官方的windows包不是很稳定,没登录载必报错。登录载概率报错。遇到一直这种情况,可以试试更换vpn的服务器。一直解决不了请采用方法二:百度网盘。

2. 方法二:百度网盘下载并安装

通过网盘分享的文件:OllamaSetup.exe
链接: https://pan.baidu.com/share/init?surl=H\_gzQ5mQaGxx7cU5f6LPXw?pwd=55kn
提取码: 55kn
后面的第四步与第五步与方法一相同

三、Ollama的使用

1. 控制台使用

(1)拉取并运行模型

ollama run 目标模型:大小

比如:ollama run qwen2:0.5b
比如:ollama run llama3.1
在这里插入图片描述
我怎么知道目标模型有多少B,以及如何查看ollama支持哪些模型怎么安装呢?可以在ollama的models界面找模型,点进去可以看到这个模型的介绍以及有多少种型号:https://ollama.com/library
在这里插入图片描述

(2)查询目前ollama已下载的模型

ollama list

在这里插入图片描述

(3)查询模型信息

ollama show qwen2:0.5b

(4)删除模型

ollama rm qwen2:0.5b

2. REST API服务使用

(1)ollama 服务启动

在浏览器中输入http://localhost:11434
如果看到:Ollama is running
说明Ollama的服务已经自动启动成功,没有发生端口冲突导致的服务自动启动失败。
如果有异常,说端口冲突,(1)杀掉11434端口的进程。(2)修改ollama的服务监听端口。
针对(2)可以临时修改端口并启动服务:

set OLLAMA_HOST=127.0.0.1:11436
ollama serve

(2)ollama服务使用

复制下面这一段curl指令在cmd中运行

curl http://localhost:11434/api/generate -d "{ \"model\": \"qwen2:0.5b\", \"prompt\": \"Why is the sky blue?\" }"

注1:注意curl的端口与ollama启动的端口对应。
注2:如果返回:{“error”:“model “qwen2:0.5b” not found, try pulling it first”}那是因为删除了,重新运行:ollama run qwen2:0.5b 拉取下载

更多API在文档:https://github.com/ollama/ollama/blob/main/docs/api.md

3. Python 调用

(1)ollama的库和工具

在成功安装olama之后,可以利用它提供的多个库和工具来扩展您的开发工作。ollama主要支持Pyhon和JavaScript两种编程语言的库分别是ollama-pythonollama-js,这两个库使得在相应的语言环境中使用ollama变得更加方便和高效。

(2)ollama-python使用

ollama-python 库提供了一个Python接口来与ollama交互,使得Python开发者可以轻松地在他们的项目中集成和运行大型语言模型。

ollama-python安装

pip install ollama

用法

import ollama
response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

流式处理响应
可以通过设置 来启用响应流式处理,修改函数调用以返回 Python 生成器,其中每个部分都是流中的一个对象。stream=True

import ollama

stream = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

注:更多示例请查看:https://pypi.org/project/ollama/
注:如果报错: raise ResponseError(e.response.text, e.response.status_code) from None
ollama._types.ResponseError,可以把梯子关掉再执行一次看看。

四、ollama web端

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
相关文章
|
2月前
|
Java 开发工具
鸿蒙Flutter实战:02-Windows环境搭建踩坑指南
本指南介绍如何搭建鸿蒙Flutter开发环境,包括下载Flutter SDK、配置环境变量(如FLUTTER_STORAGE_BASE_URL、PUB_HOSTED_URL、DEVECO_SDK_HOME等)和检查工具版本。还提到避免项目路径过深、与SDK同盘存放等注意事项,以及解决VsCode无法识别设备的方法。
61 0
|
21天前
|
机器学习/深度学习 并行计算 异构计算
WINDOWS安装eiseg遇到的问题和解决方法
通过本文的详细步骤和问题解决方法,希望能帮助你顺利在 Windows 系统上安装和运行 EISeg。
44 2
|
29天前
|
网络安全 Windows
Windows server 2012R2系统安装远程桌面服务后无法多用户同时登录是什么原因?
【11月更文挑战第15天】本文介绍了在Windows Server 2012 R2中遇到的多用户无法同时登录远程桌面的问题及其解决方法,包括许可模式限制、组策略配置问题、远程桌面服务配置错误以及网络和防火墙问题四个方面的原因分析及对应的解决方案。
|
1月前
|
NoSQL Linux PHP
如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤
本文介绍了如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤。接着,对比了两种常用的 PHP Redis 客户端扩展:PhpRedis 和 Predis,详细说明了它们的安装方法及优缺点。最后,提供了使用 PhpRedis 和 Predis 在 PHP 中连接 Redis 服务器及进行字符串、列表、集合和哈希等数据类型的基本操作示例。
57 4
|
2月前
|
边缘计算 安全 网络安全
|
2月前
|
人工智能 监控 安全
掌握Windows管理利器:WMI命令实战
本文介绍了Windows Management Instrumentation (WMI) 的基本概念和用途,通过多个实用的`wmic`命令示例,如获取CPU信息、查看操作系统详情、管理服务、检查磁盘空间等,展示了WMI在系统维护中的强大功能。适合IT专业人士学习和参考。
72 4
|
2月前
|
数据安全/隐私保护 Windows
安装 Windows Server 2019
安装 Windows Server 2019
|
2月前
|
Windows
安装 Windows Server 2003
安装 Windows Server 2003
|
2月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
108 9
|
2月前
|
NoSQL Shell MongoDB
Windows 平台安装 MongoDB
10月更文挑战第10天
66 0
Windows 平台安装 MongoDB
下一篇
DataWorks