介绍
Ollama是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。 通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。 此外，Ollama还支持多种机器学习框架，如TensorFlow、PyTorch等，使得你可以根据自己的需求选择合适的框架进行模型的训练
官网：https://ollama.com/
Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI，旨在完全离线操作。 它支持各种LLM运行程序，包括Ollama和OpenAI兼容的API。
官网：https://www.openwebui.com/
ollama部分
下载 安装包
从官网看，是通过脚本安装的
https://ollama.com/install.sh
下载这个脚本，会发现里面的下载安装包的真实路径：
https://ollama.com/download/ollama-linux-amd64.tgz
由于在linux机器上直接下载，会比较慢（需要科学上网）。 建议从mac上下载后，scp到 日常环境的linux机器上
cd /home/sean.xd/ollama_install
tar zxvf ollama-linux-amd64.tgz
解压后，将解压出来的 bin/ollama 复制到 /home/sean.xd/bin/ 目录
将解压出来的 lib/ollama 复制到 /home/sean.xd/lib/ 目录
将当前用户的 /home/sean.xd/bin 追加到 PATH中
ollama -h 看看结果
可以看到， ollama命令，已经在PATH中了
配置环境变量
export OLLAMA_HOST="0.0.0.0:11434"
export OLLAMA_MODELS=/home/sean.xd/ollama_models
这两行是指定端口和下载model的目录
启动ollama后台进程
在目录 /home/sean.xd/ollama_install 新建一个脚本 run_serve.sh
nohup ollama serve >run.log 2>&1 &
启动后，ps aux | grep ollama 看看结果
$ ps aux | grep ollama
sean.xd 49411 2.3 0.0 2297372 88988 pts/5 Sl 15:03 0:15 ollama serve
启动后，看看日志 run.log
检验是否启动成功，执行如下命令
ollama list
$ ollama list
NAME ID SIZE MODIFIED
先启动一个小的模型，看看效果
ollama的网站，没有被墙，访问速度非常快
https://ollama.com/library/deepseek-r1:1.5b
执行命令
ollama run deepseek-r1:1.5b
等待大概1分钟，会启动一个命令行的输入， 输入你是谁，回车，看返回结果
后面又问了 python pydantic 怎么使用，给个例子。 也可以正常返回
经过以上过程， ollama 和 本地模型的部署，就完事了。
常用命令
查看本地已经pull下来哪些大模型
ollama list
查看本地已经在运行中的大模型
ollama ps
pip安装openwebui
踩坑心路历程
最开始尝试源码编译安装openwebui，发现nodejs版本必须得达到20。我平时使用的228机器，glibc版本过低，不行。心里忐忑，不敢升级glibc，因为踩过坑，大概率无法成功，且系统会被改坏，影响其他用户使用228机器。在mac上编译前端代码，没有遇到glibc版本的问题，但最新master分之，遇到报错。 老的版本，可以编译通过，但是没有搜索增强功能。
最终成功的方案如下：
直接pip一键安装openwebui
教程参考官方文档：
https://github.com/open-webui/open-webui
创建虚拟环境
conda create --prefix venv python=3.11
安装命令
./venv/bin/python -m pip install open-webui
启动命令
sh run_background.sh
set -x
# 打开debug开关，可以查看详细日志
export GLOBAL_LOG_LEVEL="DEBUG"
# 如果没有科学上网，则需要禁用OPENAI的访问，否则打开页面会很慢
export ENABLE_OPENAI_API=false
# 使用镜像网站，否则主界面进不去
HF_ENDPOINT=https://hf-mirror.com nohup ./venv/bin/open-webui serve --port 8070 >run.log 2>&1 &
启动后，打开run.log 看到如下日志
注意：
HF_ENDPOINT=https://hf-mirror.com 这个环境变量的作用，是因为国内无法访问huggingface网站，需要使用镜像站。
简单试用
先注册账号，第一个注册的用户，就是超级管理员了
在聊天中，选择一个模型
输入 你是谁
看到回复，说明部署成功
开启搜索增强
点击进入“设置”，点击“管理员设置”后进入“联网搜索”配置页
● 勾选“启用联网搜索”
● 联网搜索引擎选择“duckduckgo”，免费。其余选项需提供apikey
● 可自定义调整搜索结果数量
● 点击右下角“保存按钮”
注意： 由于duckduckgo被墙，所以实际是无法使用的。如果服务器本身已经科学上网了，则可以使用。
其他扩展玩法
接入微博搜索
https://blog.csdn.net/gukugkg/article/details/144469724
实现了从微博上抓取最新信息的能力。
从 以上截图可以看到，获取了5条微博信息，并分析了内容
