ollama本地部署llama3(window系统)

简介: 这篇文章详细介绍了如何在Windows系统上本地部署Ollama框架来运行Llama 3大模型,并提供了具体的安装步骤和注意事项,以便实现离线使用高级AI模型进行对话。

首先介绍下ollama是什么?Ollama是一个开源的大型语言模型服务工具,旨在为用户提供本地化的运行环境,满足个性化的需求。具体来说,Ollama是一个功能强大的开源框架,可以简化在Docker容器中部署和管理大型语言模型(LLM)的过程,使得用户能够快速地在本地计算机上运行大型语言模型,如Llama 2等。此外,Ollama还提供了类似OpenAI的API接口和聊天界面,方便用户部署和使用。总的来说,Ollama可以帮助用户实现大型语言模型的本地化运行,从而满足用户对于语言处理任务的个性化需求。

下面开始下载和安装,下载的话可以到ollama的官网去下载,有window,macOS,liunx三个版本,下载链接

点击下载后等待下载完成,然后会得到一个exe文件:

双击此exe,点击Install直接开始安装,

安装完毕后,点击window下面的状态栏会看到有ollama的标志,就是刚才exe一样的标识,此时ollama就在运行中了。也可以打开命令提示符窗口,输入ollama list,这个命令是查看已经下载的大模型,因为我这里是刚安装所以是空的:

ollama只是一个大模型的服务工具,并非大模型本体,所以只是安装ollama也并不能使用大模型,所以接下来要通过ollama下载大模型,需要注意的是,llama3分为多个版本,如果你的电脑性能一般还是安装llama3:8B的版本,除非是很好的电脑,内存64以上,GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本

RAM:Llama 3 8B至少16GB,Llama 3 70B至少64GB或更多。
GPU:Llama 3 8B具有至少8GB VRAM的强大GPU,Llama 3 70B最好是支持CUDA的NVIDIA GPU。
磁盘空间:Llama 3 8B约为5GB,而Llama 3 70B超过20GB

这类以下载ollama3为例,在命令提示符窗口输入:

ollama run llama3

这里使用run命令就可以直接下载llama3了,然后等待下载完成。如下图就是下载完成,可以直接在这里提问了,

不过llama3对英文支持更好,可以用英文进行提问,英文不好的话也可以要求它用英文回答。

至此,用ollama部署一个可以离线使用的llama3大模型就好啦。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
13天前
|
人工智能 Linux 测试技术
NexaAI, 一行命令运行魔搭社区模型,首次在设备上运行 Qwen2-Audio
Qwen2-Audio是一个 70亿参数量 SOTA 多模态模型,可处理音频和文本输入。
|
7月前
|
人工智能 机器人 测试技术
使用LM Studio在本地运行LLM完整教程
GPT-4被普遍认为是最好的生成式AI聊天机器人,但开源模型一直在变得越来越好,并且通过微调在某些特定领域是可以超过GPT4的。
3134 1
|
2月前
|
API Windows
Window本地部署ChatTTS
这篇文章详细介绍了如何在Windows系统上本地部署ChatTTS,实现将文本转化为高质量的语音输出,并提供了简便的部署方法和使用指南。
109 2
Window本地部署ChatTTS
|
1月前
|
开发者 异构计算
现在,一行命令使用Ollama运行任意魔搭GGUF模型
为了让开发者更方便地把这些模型用起来,社区最近支持了Ollama框架和ModelScope平台的链接,通过简单的 ollama run命令,就能直接加载运行ModelScope模型库上的GGUF模型。
|
1月前
|
Linux iOS开发 异构计算
Ollama完成本地模型的运行
# Ollama完成本地模型的运行
242 5
Ollama完成本地模型的运行
|
26天前
|
Docker 容器
marco-o1 + ollama + Open-WebUI 实现 o1 的折叠推理效果
marco-o1 + ollama + Open-WebUI 实现 o1 的折叠推理效果
81 2
|
26天前
|
人工智能 并行计算 监控
深入剖析 Qwen2.5 - 32B 模型在 VLLM 上的单机三卡部署与运行
本文深入探讨了Qwen2.5 - 32B模型在VLLM框架上的部署过程,从模型下载、启动命令、资源占用分析到GPU资源分配及CUDA图应用,详述了大模型运行的挑战与优化策略,强调了硬件资源规划与技术调优的重要性。
330 2
|
1月前
|
存储 安全 API
使用Ollama和Open WebUI管理本地开源大模型
Open WebUI 是一个功能丰富且用户友好的自托管 Web 用户界面(WebUI),它被设计用于与大型语言模型(LLMs)进行交互,特别是那些由 Ollama 或与 OpenAI API 兼容的服务所支持的模型。Open WebUI 提供了完全离线运行的能力,这意味着用户可以在没有互联网连接的情况下与模型进行对话,这对于数据隐私和安全敏感的应用场景尤为重要。
|
2月前
|
人工智能 监控 API
window本地部署Dify
这篇文章详细介绍了如何在Windows系统上本地部署Dify平台,并通过Docker进行环境搭建,实现基于大模型的AI应用开发和管理。
393 1
window本地部署Dify
|
2月前
|
Ubuntu API Python
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
75 1