Ollama部署本地大模型并通过Infortress APP远程访问保姆级教程

简介: 本文介绍如何快速上手本地大模型部署工具Ollama及AI远程访问工具Infortress。通过Ollama,开发者可轻松部署如Llama、Deepseek等主流开源模型,仅需几行命令即可完成安装与运行。结合Infortress,用户能实现对本地大模型的远程访问,支持多设备无缝对接,同时提供便捷的模型切换与知识库管理功能。Infortress更兼具NAS软件特性,成为个人AI数据中心的理想选择。

一、本地部署大模型:Ollama的极速上手

Ollama是近年来备受开发者青睐的本地LLM部署工具,支持Llama、Mixtral、Phi-3、Deepseek等主流开源模型,几行命令即可完成搭建:

1、下载安装Ollama:访问Ollama官网,https://ollama.com ,点击download按钮进行下载,根据系统选择对应版本进行下载,下载完成后点击安装。
image.png

安装完成后,你的电脑右下角会有ollama的图标,如下图这样。
image.png

验证安装是否成功,打开命令行,输入ollama --version,如果命令执行成功,并输出了版本信息,说明安装成功了。
image.png

2、模型拉取:打开终端,输入ollama run {模型名称}(如ollama run deepseek-r1:1.5b),即可自动下载,
image.png

下载完成后,ollama会为我们运行刚下载的大模型。下面是运行成功的截图:
image.png

3、验证服务:运行成功以后,我们可以直接在命令行和deepseek对话。
image.png

安装完成后我们看到的是一个命令行窗口,使用起来并不方便。而且只能在本地使用,为了解决这些问题,可以接着安装Infortress。

二、Infortress安装

Infortress是一款专为普通用户打造的AI远程访问工具,其APP端(iOS/Android/电脑客户端)可无缝对接本地服务:

1、下载服务端,登录Infortress官网,根据自己的电脑系统下载对应的电脑服务端
image.png

之后根据提示一键安装,过程中只需要设置一下安装目录即可,之后等待自动安装完成!
image.png

2、下载APP/客户端:在手机应用商店搜索“Infortress”,或访问官网扫码获取安装包。电脑客户端的用户,直接到官网下载安装包,之后根据提示一键安装即可!
image.png

3、连接服务端:使用邮箱进行用户注册账号,登录后下拉页面即可自动查找服务端,确认后,点击注册&连接按钮,就安装完成了。
image.png

电脑客户端也是同样的操作步骤,安装好后会自动发现服务端,点击注册服务器及连接按钮,即安装完成
image.png

三、服务端配置:打通Ollama与Infortress

进入电脑服务端的设置页面:点击左侧菜单“设置”,找到“本地大模型”。
image.png

默认是“内置大模型”,这里配置了多种主流大语言模型,用户可以根据自己的需求,选择适合的大模型系列,之后点击后面的下载按钮,即可自动进行安装部署,之后点击对话按钮,就能使用(如下图)!
image.png

如果本地已经部署了Ollama,可以在顶部这里进行切换,
image.png

切换之后,填写本地模型地址,默认为:http://127.0.0.1:11434
(若端口被占用,需在Ollama设置中修改并同步更新)。
image.png

测试连接:配置完成后,点击对话,输入问题,程序做出响应则表示链路打通。

在手机端或者电脑客户端上,也可以远程访问本地部署的大模型,找到“AI大模型”,点击进入,
image.png
image.png

这里可以和你本地部署的大模型进行对话,顶部可以切换不同的大模型,如果部署了本地知识库,也可以切换大模型和知识库
image.png
image.png

四、Infortress:不止于远程访问,更是你的私人AI数据中心

Infortress不仅能在手机/平板上随时调用本地大模型,它还是一个专业的NAS软件,NAS核心功能全覆盖,感兴趣的小伙伴,可以自行体验!

相关文章
|
19天前
|
机器学习/深度学习 自然语言处理 算法框架/工具
实战 | Qwen2.5-VL模型目标检测(Grounding)任务领域微调教程
在目标检测领域,众多神经网络模型早已凭借其卓越的性能,实现了精准的目标检测与目标分割效果。然而,随着多模态模型的崛起,其在图像分析方面展现出的非凡能力,为该领域带来了新的机遇。多模态模型不仅能够深入理解图像内容,还能将这种理解转化为文本形式输出,极大地拓展了其应用场景。
1347 74
|
23天前
|
人工智能 JSON 自然语言处理
多快好省,Qwen3混合部署模式引爆MCP
本文介绍了MCP(Model Context Protocol)与Qwen3模型的结合应用。MCP通过统一协议让AI模型连接各种工具和数据源,类似AI世界的“USB-C”接口。文中详细解析了MCP架构,包括Host、Client和Server三个核心组件,并说明了模型如何智能选择工具及工具执行反馈机制。Qwen3作为新一代通义千问模型,采用混合专家架构,具备235B参数但仅需激活22B,支持快速与深度思考模式,多语言处理能力覆盖119种语言。文章还展示了Qwen3的本地部署流程,以及开发和调试MCP Server与Client的具体步骤。
444 36
多快好省,Qwen3混合部署模式引爆MCP
|
26天前
|
人工智能 调度
【MCP教程系列】在阿里云百炼上用Qwen3+且慢MCP,用AI重新定义资产管理效率
通义千问Qwen3通过MCP协议,在Agent中具备强大的工具调度与复杂任务拆解能力,成为构建复杂AI应用的核心引擎。以“基金助手”为例,集成且慢MCP服务后,可一键调用多源金融数据并动态组合分析工具,实现精准调度。在阿里云百炼平台上,只需4步即可构建一个“金融顾问”智能体:开通且慢MCP服务、新建智能体、添加MCP技能、测试效果。此外,还可增加提示词规范输出内容,完成更复杂的任务。
【MCP教程系列】在阿里云百炼上用Qwen3+且慢MCP,用AI重新定义资产管理效率
|
24天前
|
JavaScript 搜索推荐 前端开发
通义灵码2.5智能体模式联合MCP:打造自动化菜品推荐平台,实现从需求到部署的全流程创新
本项目利用通义灵码2.5的智能体模式与MCP服务,构建在线点餐推荐网站。基于Qwen3模型,实现从需求到代码生成的全流程自动化,集成“今天吃什么”和EdgeOne MCP服务,提供个性化推荐、偏好管理等功能。技术架构采用React/Vue.js前端与Node.js后端,结合MCP工具链简化开发。项目涵盖功能测试、部署及未来扩展方向,如餐厅推荐、语音交互等,展示高效开发与灵活扩展能力。
|
30天前
|
人工智能 负载均衡 数据可视化
10分钟上手全球开源模型冠军 Qwen3
阿里通义千问Qwen3在最新全球AI基准测试中智能水平位列全球前五,开源第一,且成本优势显著,推理成本仅为DeepSeek-R1的1/3、Claude 3.7的1/20。Qwen3支持119种语言,具备强大的代码和数学能力,同时提供思考与非思考两种模式无缝切换,适合复杂与简单任务。通过阿里云百炼平台,用户可在10分钟内快速搭建Qwen3模型服务,结合Cherry Studio客户端实现便捷交互。本文详细介绍了Qwen3的部署、体验及工具调用能力,帮助用户轻松上手。
634 78
|
1月前
|
数据可视化 API Swift
全模态图像模型Nexus-Gen对齐GPT-4o!同时搞定,数据、训练框架、模型全面开源
OpenAI GPT-4o发布强大图片生成能力后,业界对大模型生图能力的探索向全模态方向倾斜,训练全模态模型成研发重点。
156 17
|
18天前
|
人工智能 数据挖掘 API
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
138 21
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
|
19天前
|
Java 数据库 Docker
基于neo4j数据库和dify大模型框架的rag模型搭建
基于neo4j数据库和dify大模型框架的rag模型搭建
234 35
|
21天前
|
机器学习/深度学习 人工智能 算法
大型多模态推理模型技术演进综述:从模块化架构到原生推理能力的综合分析
该研究系统梳理了大型多模态推理模型(LMRMs)的技术发展,从早期模块化架构到统一的语言中心框架,提出原生LMRMs(N-LMRMs)的前沿概念。论文划分三个技术演进阶段及一个前瞻性范式,深入探讨关键挑战与评估基准,为构建复杂动态环境中的稳健AI系统提供理论框架。未来方向聚焦全模态泛化、深度推理与智能体行为,推动跨模态融合与自主交互能力的发展。
98 13
大型多模态推理模型技术演进综述:从模块化架构到原生推理能力的综合分析

热门文章

最新文章