前言
这里主要借助两个开源项目 ollama 和 openwebui 这两个项目，来尝试本地跑通llama3.1 8b 、 mistral-nemo 12b 和 qwen2 7b 这些模型，再大的模型机器也撑不住了，机器配置如下：
CPU： M2 Max
内存：32 GB
内容
ollama：https://ollama.com/
ollama GitHub：https://github.com/ollama/ollama
ollama Models：https://ollama.com/library
openwebui：https://openwebui.com/
openwebui GitHub：https://github.com/open-webui/open-webui
安装ollama
访问 ollama 网站，根据自身的平台来下载应用，下载后正常安装即可，安装完成后运行命令来拉取模型，模型可访问 ollama Models 选择相应的模型后，会有对应的命令，终端执行即可。
## llama3.1
$ ollama run llama3.1:8b
## qwen2.5
$ ollama run qwen2.5:7b
## mistral-nemo
$ ollama run mistral-nemo:12b
安装openwebui
因为我的 ollama 是在本地的，所以我这里直接基于 docker 来运行 openwebui，运行命令如下：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
运行成功后，我们访问 127.0.0.1:3000 即可打开本地的聊窗口，创建好对应的账号登录后，访问界面如下：
image-20240923175135700.png
总结
总的来说，现在基于开源的项目，我们能够很快的搭建一个自己本地使用的模型，当前如果你不存在数据安全的问题，使用国内或国外的最新的大模型体验肯定更好。
尝试跑了下llama3.1 70b的模型，跑起来后内存直线飙升，32GB内存的机器不建议尝试跑70b
