如何配置ollama本地部署的qwen模型?
可以。结合你现在的电脑配置 i7-12700H + 16GB RAM + RTX 3050 Ti 4GB VRAM + WSL2 + Ollama + 模型放 E 盘,我建议不要单纯“下载 Qwen → 运行”,而是把 模型选择、GPU、上下文、温度、系统提示词、API、OpenClaw 一起配置好。
目前 Ollama 官方的 Qwen3 系列包含 0.6B / 1.7B / 4B / 8B / 14B / 30B / 32B / 235B 等规格;其中官方页面列出的 qwen3:4b 约 2.5GB、qwen3:8b 约 5.2GB。(Ollama)
① 你的电脑,我建议这样选
你的 RTX 3050 Ti 4GB VRAM + 16GB 内存,不要追求大模型。
Qwen3大约模型大小你的电脑qwen3:0.6b523MB⭐ 太小qwen3:1.7b1.4GB⭐⭐ 很轻qwen3:4b2.5GB⭐⭐⭐⭐⭐ 推荐qwen3:8b5.2GB⭐⭐⭐ 可以尝试qwen3:14b9.3GB❌ 不建议qwen3:30b19GB❌qwen3:32b20GB❌
官方目前给出的 Qwen3 规格和模型大小就是上述范围。(Ollama)
你的主力模型建议:
qwen3:4b
如果主要用于:
编程OpenClawVS Code中文聊天Agent日常 AI 助手
我会优先用 Qwen3 4B。
② 先确认 Ollama
在 WSL2:
ollama --version
然后:
ollama list
如果还没有 Qwen:
ollama pull qwen3:4b
运行:
ollama run qwen3:4b
官方 Qwen3 Ollama 页面也是通过 ollama run qwen3 这种方式运行。(Ollama)
③ 你的模型放 E 盘
你之前已经规划:
E:\AI\Ollama\models
WSL 对应:
/mnt/e/AI/Ollama/models
如果 Ollama 已经配置到这里,可以检查:
echo $OLLAMA_MODELS
应该看到:
/mnt/e/AI/Ollama/models
如果没有,可以设置:
export OLLAMA_MODELS=/mnt/e/AI/Ollama/models
然后:
ollama list
Windows 永久环境变量
PowerShell:
[Environment]::SetEnvironmentVariable(
'OLLAMA_MODELS',
'E:\AI\Ollama\models',
'User'
)
不过你现在是 WSL2 + Ollama 的环境,我更建议我们先确认你当前 Ollama 到底是:
Windows Ollama
还是:
WSL Ollama
因为两种配置方法不完全一样。
④ 不要直接修改原始 Qwen,创建一个自己的模型
这个非常推荐。
Ollama 的 Modelfile 就是用来定义自定义模型的,可以设置 FROM、PARAMETER、SYSTEM 等。(Ollama)
例如创建:
qwen3-4b-my
首先:
mkdir -p ~/ollama
cd ~/ollama
创建:
nano Modelfile
写入:
FROM qwen3:4b
PARAMETER temperature 0.6
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192
SYSTEM '''
你是一个本地运行的 AI 助手。
回答要求:
1. 使用中文回答,必要时保留英文技术名词。
2. 优先给出准确、直接、可执行的答案。
3. 编程问题提供完整代码和操作步骤。
4. Windows、WSL、Linux、Ollama 等问题结合当前环境分析。
5. 不要无意义地重复问题。
6. 如果存在不确定性,明确说明。
7. 不要虚构不存在的命令、参数或功能。
'''
然后:
ollama create qwen3-4b-my -f Modelfile
运行:
ollama run qwen3-4b-my
Ollama 官方文档明确支持这种 ollama create ... -f Modelfile → ollama run ... 的流程。(Ollama)
⑤ 你的参数我建议这样设置
温度
temperature 0.6
比较适合你。
如果:
用途temperature编程0.2–0.4技术问答0.4–0.6日常聊天0.6–0.8创作0.8–1.0
Ollama 官方说明中,temperature 越高,输出通常越有创造性。(Ollama)
上下文
你这里尤其需要注意:
PARAMETER num_ctx 8192
不要一开始就 32K / 64K。
因为你的显卡只有:
RTX 3050 Ti
4GB VRAM
上下文越大,内存/显存压力也会增加。
我建议:
日常:4096
推荐:8192
大型代码:16384
你的机器先从:
8192
开始。
⑥ 如果主要用于编程
可以单独做一个:
qwen3-4b-code
Modelfile:
FROM qwen3:4b
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192
SYSTEM '''
你是一名专业的软件开发助手。
主要帮助用户:
- C++
- Python
- GDScript
- Windows
- Linux
- WSL2
- VS Code
- Godot
- Blender
- Ollama
- AI Agent
回答原则:
1. 优先分析用户实际环境。
2. 不要凭空假设环境。
3. 给出可以直接执行的命令。
4. 代码必须完整、可运行。
5. 修改配置时说明修改位置。
6. 遇到错误时先分析错误原因,再给解决方案。
7. 如果存在多个解决方案,优先推荐风险较低、容易回滚的方法。
8. 不要编造不存在的参数或命令。
9. 中文回答。
'''
创建:
ollama create qwen3-4b-code -f Modelfile
运行:
ollama run qwen3-4b-code
⑦ Qwen3 的思考模式
Qwen3 一个很重要的特点就是支持 thinking / non-thinking 两种模式,并且 Ollama 的 Qwen3 页面也标明了 thinking 能力。(Ollama)
所以你可以把它理解成:
普通模式
↓
速度快
↓
日常聊天 / 简单代码
以及:
思考模式
↓
推理更充分
↓
复杂代码 / 数学 / 问题分析
对于你的 RTX 3050 Ti 4GB,我建议:
日常默认不要一直开深度思考。
否则速度会明显下降。
⑧ 检查 Qwen 有没有真正使用 GPU
这个对你的机器非常重要。
运行:
ollama run qwen3:4b
然后另开一个 WSL:
watch -n 1 nvidia-smi
或者 Windows PowerShell:
nvidia-smi
你应该能看到 Ollama 使用 NVIDIA GPU。
你的目标不是:
GPU 100%
而是确认:
Ollama
↓
CUDA
↓
RTX 3050 Ti
确实跑起来。
⑨ Ollama API
Ollama 默认 API 是:
http://127.0.0.1:11434
Qwen3 官方页面也提供了 /api/chat 的调用方式。(Ollama)
例如:
curl http://localhost:11434/api/chat \
-d '{
'model': 'qwen3:4b',
'messages': [
{
'role': 'user',
'content': '解释一下 C++ 中的指针'
}
],
'stream': false
}'
如果正常返回 JSON,就说明:
Ollama
↓
Qwen3
↓
API
已经正常。
⑩ 如果你要接 OpenClaw
这个反而是你当前环境最值得配置的地方。
你的目标可以做成:
OpenClaw
│
▼
Ollama
│
▼
Qwen3 4B
│
▼
RTX 3050 Ti
而不是:
OpenClaw
↓
云端 DeepSeek
Qwen3 官方 Ollama 页面现在已经直接列出了 OpenClaw 的启动方式:
ollama launch openclaw --model qwen3
(Ollama)
不过考虑到你现在已经有 OpenClawGateway + WSL2 + RTX 3050 Ti + 本地 Ollama,我建议不要直接执行这个命令覆盖现有配置。
⭐ 我给你的最终配置
你的电脑我建议先固定成:
模型:
Qwen3 4B
模型:
qwen3:4b
自定义模型:
qwen3-4b-my
编程模型:
qwen3-4b-code
Context:
8192
Temperature:
0.6
Top P:
0.9
Top K:
40
Repeat Penalty:
1.1
GPU:
RTX 3050 Ti 4GB
模型位置:
E:\AI\Ollama\models
WSL路径:
/mnt/e/AI/Ollama/models
API:
http://127.0.0.1:11434
这套配置比较适合你的 16GB RAM + 4GB VRAM,不建议现在上 Qwen3 14B/30B。
如果你的最终目标是 “Qwen3 + Ollama + RTX 3050 Ti + WSL2 + OpenClaw”,下一步最好直接检查你现在的 Ollama 环境,我可以按你现有环境给你做成一套从 GPU → Ollama → Qwen3 → E盘模型 → OpenClaw 的完整配置,避免和你现在的 OpenClaw 配置冲突。
赞4
踩0