Ollama部署本地模型

简介: Ollama 是一个用于本地部署大型语言模型的平台。首先关闭 ollama 服务,在环境变量中设置 `OLLAMA_MODELS` 为目标模型路径,`OLLAMA_ORIGINS` 为 `"*"`,重启服务和 VSCode。启动服务 `ollama serve`,运行 `ollama run codegeex4`。配置插件接口地址为 `http://localhost:11434/v1/chat/completions`,并在模型名称处填入 `codegeex4` 启用高级模式。可能需优化下载速度并解决其他问题。


Ollama使用
什么是Ollama
下载
配置模型下载地址
首先,把启动着的ollama关闭,然后在用户环境变量中点击新建环境变量

OLLAMA_MODELS的值为你希望模型所在的地址。

OLLAMA_ORIGINS = "*"

设置后需要重启ollama服务和vscode

启动ollama服务ollama serve

再打开一个新的终端,在终端输入ollama run codegeex4

在本地模式中配置接口地址

在插件的配置页配置模型地址http://localhost:11434/v1/chat/completions

打开模型高级模式,在模型名称栏中填写:codegeex4

提高ollama下载模型速度
可能存在的问题

Reference
‍‍‬‍⁠‬‬⁠‬⁠‬‌‌‬‍‬‍‌‬⁠‍‍‌‬‍CodeGeeX 本地模式使用指南 - 飞书云文档 (feishu.cn)

THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型 (github.com)

glm4 (ollama.com)

常见问题解答 - Ollama中文网

CodeGeeX4/README_zh.md at main · THUDM/CodeGeeX4 (github.com)

codegeex4 (ollama.com)

CodeGeeX4/guides/Local_mode_guideline_zh.md at main · THUDM/CodeGeeX4 (github.com)

Ollama教程——入门:开启本地大型语言模型开发之旅_ollama中文说明书-CSDN博客

目录
相关文章
|
人工智能 C++ iOS开发
ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama,然后下载qwen2.5-coder模型,可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后,在VS Code中安装Continue插件,并配置qwen2.5-coder模型用于代码开发辅助。
31569 71
|
人工智能 并行计算 搜索推荐
ollama本地部署llama3(window系统)
这篇文章详细介绍了如何在Windows系统上本地部署Ollama框架来运行Llama 3大模型,并提供了具体的安装步骤和注意事项,以便实现离线使用高级AI模型进行对话。
2072 0
ollama本地部署llama3(window系统)
|
8月前
|
人工智能 自然语言处理 Cloud Native
大模型应用落地实战:从Clawdbot到实在Agent,如何构建企业级自动化闭环?
2026年初,开源AI Agent Clawdbot爆火,以“自由意志”打破被动交互,寄生社交软件主动服务。它解决“听与说”,却缺“手与脚”:硅谷Manus走API原生路线,云端自主执行;中国实在Agent则用屏幕语义理解,在封闭系统中精准操作。三者协同,正构建AI真正干活的三位一体生态。
3571 11
|
7月前
|
人工智能 数据可视化 测试技术
玩转Ollama:命令行操作、上下文长度调优与模型导入全攻略
Ollama是轻量级本地大模型运行工具,零配置即可快速启动AI模型。本文详解三大核心:高频CLI命令(运行/管理/创建模型)、上下文长度(Context Length)调优技巧、多格式(GGUF/Safetensors)自定义模型导入与量化分享,新手跟做即上手。
|
10月前
|
机器学习/深度学习 人工智能 前端开发
终端里的 AI 编程助手:OpenCode 使用指南
OpenCode 是开源的终端 AI 编码助手,支持 Claude、GPT-4 等模型,可在命令行完成代码编写、Bug 修复、项目重构。提供原生终端界面和上下文感知能力,适合全栈开发者和终端用户使用。
60527 11
|
人工智能 搜索推荐 Docker
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手
8668 119
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手