本地离线部署大模型知识库OLLAMA+Anything(保姆级)

简介: 本地离线部署大模型知识库OLLAMA+Anything(保姆级)


安装OLLAMA

好多同学不知道怎么下载需要用到的工具,我这里给大家都准备好了,需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型,7B大模型,7亿参数,至少需要8G内存,越大回复越流畅,

下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,不能选择安装路径的哦,安装完后,右下角会出现Ollama图标。

创建环境变量

OLLAMA_MODELS,随意指定变量值,如图所示:

PythonOLLAMA_MODELS

重启OLLAMA

选择右键小图标,然后退出,

在开始菜单中找到重启Ollama

重启后目录如下:

创建Modelfile

在blobs下创建Modelfile文件,没有后缀。

加载模型

1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下,和ModelFile同目录(不一定非要同目录,如果放到其他地方,以下路径随着更改就行)

Plain TextFROM ./qwen7b.gguf

2、在Modelfile所在路径输入cmd,然后回车:

3、执行命令

Plain Textollama create qwen -f Modelfile.txt

等待差不多10分钟,出现success表示成功。

成功后的目录

查看模型

Plain Textollama list

运行模型

Plain Textollama run qwen

运行成功的窗口如下:

这样就可以开始对话了


安装包获取

在使用的过程中会遇到很多问题,而且很多问题在网上找不到答案,因此我给大家搭建了一个环境,建了一个群,相关安装包都在里面了,专门沟通AI大模型领域,非诚勿扰!扫码请备注“大模型”,带其他目的人请走开。


目录
相关文章
|
3月前
|
数据可视化 安全 关系型数据库
写给工程师的 MacBook 商用级大模型知识库部署方案(上)
写给工程师的 MacBook 商用级大模型知识库部署方案(上)
253 2
|
4月前
|
机器学习/深度学习 人工智能 数据库
部署AI大模型,为何必须建立向量数据库和其他知识库?
人工智能将继续快速发展,尤其是在语言模型领域,这些进步有望以前所未有的方式进行变革。
|
22天前
|
存储 安全 数据安全/隐私保护
Notion平替工具AFFINE知识库如何本地部署与公网远程访问
Notion平替工具AFFINE知识库如何本地部署与公网远程访问
|
5天前
|
自然语言处理 API 开发工具
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
|
18天前
|
机器人 Linux API
基于Ollama+AnythingLLM轻松打造本地大模型知识库
Ollama是开源工具,简化了在本地运行大型语言模型(ile优化模型运行,支持GPU使用和热加载。它轻量、易用,可在Mac和Linux上通过Docker快速部署。AnythingLLM是Mintplex Labs的文档聊天机器人,支持多用户、多种文档格式,提供对话和查询模式,内置向量数据库,可高效管理大模型和文档。它也是开源的,能与Ollama结合使用,提供安全、低成本的LLM体验。这两款工具旨在促进本地高效利用和管理LLMs。
140277 30
|
18天前
|
数据采集 存储 人工智能
理解词向量、向量数据库、嵌入模型、数据预处理和本地知识库
本文介绍了词向量、向量数据库、嵌入模型和构建本地知识库等内容。
|
26天前
|
JavaScript Linux 数据安全/隐私保护
如何在CentOS7部署Wiki.js知识库并实现分享好友公网远程使用【内网穿透】
如何在CentOS7部署Wiki.js知识库并实现分享好友公网远程使用【内网穿透】
|
2月前
|
人工智能 自然语言处理 搜索推荐
|
2月前
|
存储 Linux 测试技术
【Docker项目实战】使用Docker部署Raneto知识库平台
【2月更文挑战第11天】使用Docker部署Raneto知识库平台
77 2
【Docker项目实战】使用Docker部署Raneto知识库平台
|
3月前
|
NoSQL 关系型数据库 API
写给工程师的 MacBook 商用级大模型知识库部署方案(中)
写给工程师的 MacBook 商用级大模型知识库部署方案(中)
134 1