Ollama部署本地大模型并通过Infortress APP远程访问保姆级教程

简介: 本文介绍如何快速上手本地大模型部署工具Ollama及AI远程访问工具Infortress。通过Ollama,开发者可轻松部署如Llama、Deepseek等主流开源模型,仅需几行命令即可完成安装与运行。结合Infortress,用户能实现对本地大模型的远程访问,支持多设备无缝对接,同时提供便捷的模型切换与知识库管理功能。Infortress更兼具NAS软件特性,成为个人AI数据中心的理想选择。

一、本地部署大模型:Ollama的极速上手

Ollama是近年来备受开发者青睐的本地LLM部署工具,支持Llama、Mixtral、Phi-3、Deepseek等主流开源模型,几行命令即可完成搭建:

1、下载安装Ollama:访问Ollama官网,https://ollama.com ,点击download按钮进行下载,根据系统选择对应版本进行下载,下载完成后点击安装。
image.png

安装完成后,你的电脑右下角会有ollama的图标,如下图这样。
image.png

验证安装是否成功,打开命令行,输入ollama --version,如果命令执行成功,并输出了版本信息,说明安装成功了。
image.png

2、模型拉取:打开终端,输入ollama run {模型名称}(如ollama run deepseek-r1:1.5b),即可自动下载,
image.png

下载完成后,ollama会为我们运行刚下载的大模型。下面是运行成功的截图:
image.png

3、验证服务:运行成功以后,我们可以直接在命令行和deepseek对话。
image.png

安装完成后我们看到的是一个命令行窗口,使用起来并不方便。而且只能在本地使用,为了解决这些问题,可以接着安装Infortress。

二、Infortress安装

Infortress是一款专为普通用户打造的AI远程访问工具,其APP端(iOS/Android/电脑客户端)可无缝对接本地服务:

1、下载服务端,登录Infortress官网,根据自己的电脑系统下载对应的电脑服务端
image.png

之后根据提示一键安装,过程中只需要设置一下安装目录即可,之后等待自动安装完成!
image.png

2、下载APP/客户端:在手机应用商店搜索“Infortress”,或访问官网扫码获取安装包。电脑客户端的用户,直接到官网下载安装包,之后根据提示一键安装即可!
image.png

3、连接服务端:使用邮箱进行用户注册账号,登录后下拉页面即可自动查找服务端,确认后,点击注册&连接按钮,就安装完成了。
image.png

电脑客户端也是同样的操作步骤,安装好后会自动发现服务端,点击注册服务器及连接按钮,即安装完成
image.png

三、服务端配置:打通Ollama与Infortress

进入电脑服务端的设置页面:点击左侧菜单“设置”,找到“本地大模型”。
image.png

默认是“内置大模型”,这里配置了多种主流大语言模型,用户可以根据自己的需求,选择适合的大模型系列,之后点击后面的下载按钮,即可自动进行安装部署,之后点击对话按钮,就能使用(如下图)!
image.png

如果本地已经部署了Ollama,可以在顶部这里进行切换,
image.png

切换之后,填写本地模型地址,默认为:http://127.0.0.1:11434
(若端口被占用,需在Ollama设置中修改并同步更新)。
image.png

测试连接:配置完成后,点击对话,输入问题,程序做出响应则表示链路打通。

在手机端或者电脑客户端上,也可以远程访问本地部署的大模型,找到“AI大模型”,点击进入,
image.png
image.png

这里可以和你本地部署的大模型进行对话,顶部可以切换不同的大模型,如果部署了本地知识库,也可以切换大模型和知识库
image.png
image.png

四、Infortress:不止于远程访问,更是你的私人AI数据中心

Infortress不仅能在手机/平板上随时调用本地大模型,它还是一个专业的NAS软件,NAS核心功能全覆盖,感兴趣的小伙伴,可以自行体验!

相关文章
|
5月前
|
Java 应用服务中间件 API
【App Service】部署War包到Azure云上遇404错误
Java应用部署至Azure App Service for Windows后报404,本地运行正常。经排查,日志提示类文件版本不兼容:应用由Java 17(class file version 61.0)编译,但环境仅支持到Java 11(55.0)。错误根源为Java版本不匹配。调整App Service的Java版本至17后问题解决,成功访问接口。
315 2
|
5月前
|
监控 安全 数据安全/隐私保护
55_大模型部署:从云端到边缘的全场景实践
随着大型语言模型(LLM)技术的飞速发展,从实验室走向产业化应用已成为必然趋势。2025年,大模型部署不再局限于传统的云端集中式架构,而是向云端-边缘协同的分布式部署模式演进。这种转变不仅解决了纯云端部署在延迟、隐私和成本方面的痛点,还为大模型在各行业的广泛应用开辟了新的可能性。本文将深入剖析大模型部署的核心技术、架构设计、工程实践及最新进展,为企业和开发者提供从云端到边缘的全场景部署指南。
|
6月前
|
人工智能 云栖大会
2025云栖大会大模型应用开发与部署|门票申领
2025云栖大会大模型应用开发与部署门票申领
425 9
|
5月前
|
缓存 API 调度
70_大模型服务部署技术对比:从框架到推理引擎
在2025年的大模型生态中,高效的服务部署技术已成为连接模型能力与实际应用的关键桥梁。随着大模型参数规模的不断扩大和应用场景的日益复杂,如何在有限的硬件资源下实现高性能、低延迟的推理服务,成为了所有大模型应用开发者面临的核心挑战。
|
5月前
|
人工智能 监控 安全
06_LLM安全与伦理:部署大模型的防护指南
随着大型语言模型(LLM)在各行业的广泛应用,其安全风险和伦理问题日益凸显。2025年,全球LLM市场规模已超过6400亿美元,年复合增长率达30.4%,但与之相伴的是安全威胁的复杂化和伦理挑战的多元化
|
6月前
|
算法 安全 开发者
大模型部署指南:从个人玩转到企业级应用,这4款工具必看!
本文介绍了五款主流大语言模型部署工具,帮助用户根据需求选择合适的方案。包括适合个人使用的 Ollama 和 LM Studio、优化低配设备运行的 llama.cpp、企业级部署的 vLLM,以及 Hugging Face 推出的 TGI 框架,覆盖从本地体验到高性能服务的多种场景。
|
6月前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
1082 109
|
6月前
|
分布式计算 测试技术 Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
555 2
|
5月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
654 120

热门文章

最新文章