一、本地部署大模型:Ollama的极速上手
Ollama是近年来备受开发者青睐的本地LLM部署工具,支持Llama、Mixtral、Phi-3、Deepseek等主流开源模型,几行命令即可完成搭建:
1、下载安装Ollama:访问Ollama官网,https://ollama.com ,点击download按钮进行下载,根据系统选择对应版本进行下载,下载完成后点击安装。
安装完成后,你的电脑右下角会有ollama的图标,如下图这样。
验证安装是否成功,打开命令行,输入ollama --version,如果命令执行成功,并输出了版本信息,说明安装成功了。
2、模型拉取:打开终端,输入ollama run {模型名称}(如ollama run deepseek-r1:1.5b),即可自动下载,
下载完成后,ollama会为我们运行刚下载的大模型。下面是运行成功的截图:
3、验证服务:运行成功以后,我们可以直接在命令行和deepseek对话。
安装完成后我们看到的是一个命令行窗口,使用起来并不方便。而且只能在本地使用,为了解决这些问题,可以接着安装Infortress。
二、Infortress安装
Infortress是一款专为普通用户打造的AI远程访问工具,其APP端(iOS/Android/电脑客户端)可无缝对接本地服务:
1、下载服务端,登录Infortress官网,根据自己的电脑系统下载对应的电脑服务端
之后根据提示一键安装,过程中只需要设置一下安装目录即可,之后等待自动安装完成!
2、下载APP/客户端:在手机应用商店搜索“Infortress”,或访问官网扫码获取安装包。电脑客户端的用户,直接到官网下载安装包,之后根据提示一键安装即可!
3、连接服务端:使用邮箱进行用户注册账号,登录后下拉页面即可自动查找服务端,确认后,点击注册&连接按钮,就安装完成了。
电脑客户端也是同样的操作步骤,安装好后会自动发现服务端,点击注册服务器及连接按钮,即安装完成
三、服务端配置:打通Ollama与Infortress
进入电脑服务端的设置页面:点击左侧菜单“设置”,找到“本地大模型”。
默认是“内置大模型”,这里配置了多种主流大语言模型,用户可以根据自己的需求,选择适合的大模型系列,之后点击后面的下载按钮,即可自动进行安装部署,之后点击对话按钮,就能使用(如下图)!
如果本地已经部署了Ollama,可以在顶部这里进行切换,
切换之后,填写本地模型地址,默认为:http://127.0.0.1:11434
(若端口被占用,需在Ollama设置中修改并同步更新)。
测试连接:配置完成后,点击对话,输入问题,程序做出响应则表示链路打通。
在手机端或者电脑客户端上,也可以远程访问本地部署的大模型,找到“AI大模型”,点击进入,
这里可以和你本地部署的大模型进行对话,顶部可以切换不同的大模型,如果部署了本地知识库,也可以切换大模型和知识库
四、Infortress:不止于远程访问,更是你的私人AI数据中心
Infortress不仅能在手机/平板上随时调用本地大模型,它还是一个专业的NAS软件,NAS核心功能全覆盖,感兴趣的小伙伴,可以自行体验!