本地离线部署大模型知识库OLLAMA+Anything(保姆级)

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
视觉智能开放平台,视频资源包5000点
简介: 本地离线部署大模型知识库OLLAMA+Anything(保姆级)


安装OLLAMA

好多同学不知道怎么下载需要用到的工具,我这里给大家都准备好了,需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型,7B大模型,7亿参数,至少需要8G内存,越大回复越流畅,

下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,不能选择安装路径的哦,安装完后,右下角会出现Ollama图标。

创建环境变量

OLLAMA_MODELS,随意指定变量值,如图所示:

PythonOLLAMA_MODELS

重启OLLAMA

选择右键小图标,然后退出,

在开始菜单中找到重启Ollama

重启后目录如下:

创建Modelfile

在blobs下创建Modelfile文件,没有后缀。

加载模型

1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下,和ModelFile同目录(不一定非要同目录,如果放到其他地方,以下路径随着更改就行)

Plain TextFROM ./qwen7b.gguf

2、在Modelfile所在路径输入cmd,然后回车:

3、执行命令

Plain Textollama create qwen -f Modelfile.txt

等待差不多10分钟,出现success表示成功。

成功后的目录

查看模型

Plain Textollama list

运行模型

Plain Textollama run qwen

运行成功的窗口如下:

这样就可以开始对话了


安装包获取

在使用的过程中会遇到很多问题,而且很多问题在网上找不到答案,因此我给大家搭建了一个环境,建了一个群,相关安装包都在里面了,专门沟通AI大模型领域,非诚勿扰!扫码请备注“大模型”,带其他目的人请走开。


目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与模型知识库在移动医疗产品中的落地应用
在现代医疗体系中,通义千问大模型与MaxKB知识库的结合,为医生和患者提供了前所未有的支持与便利。该系统通过实时问答、临床决策辅助、个性化学习和患者教育等功能,显著提升了诊疗效率和患者满意度。实际应用如乐问医学APP展示了其强大优势,但数据隐私和安全问题仍需关注。
58 0
|
2月前
|
机器学习/深度学习 数据采集 人工智能
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
|
6月前
|
人工智能 Linux Docker
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型(1)
近年来,大模型在AI领域崭露头角,成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出,大模型展现出了强大的语言生成、理解和多任务处理能力,预示着智能化转型的新阶段。然而,要将大模型的潜力转化为实际生产力,需要克服理论到实践的鸿沟,实现从实验室到现实世界的落地应用。阿里云去年在云栖大会上发布了一系列基于通义大模型的创新应用,标志着大模型技术开始走向大规模商业化和产业化。这些应用展示了大模型在交通、电力、金融、政务、教育等多个行业的广阔应用前景,并揭示了构建具有行业特色的“行业大模型”这一趋势,大模型知识库概念随之诞生。
140468 30
|
5月前
|
Ubuntu API 数据安全/隐私保护
告别信息搜寻烦恼:用fastgpt快速部署国内大模型知识库助手
告别信息搜寻烦恼:用fastgpt快速部署国内大模型知识库助手
497 0
|
6月前
|
人工智能 小程序 机器人
开源一个RAG大模型本地知识库问答机器人-ChatWiki
准备工作 再安装ChatWiki之前,您需要准备一台具有联网功能的linux服务器,并确保服务器满足最低系统要求 • Cpu:最低需要2 Core • RAM:最低需要4GB 开始安装 ChatWiki社区版基于Docker部署,请先确保服务器已经安装好Docker。如果没有安装,可以通过以下命令安装:
324 0
|
3月前
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
|
4月前
|
开发框架 自然语言处理 API
基于RAG搭建企业级知识库在线问答
本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。
8351 17
|
4月前
|
机器学习/深度学习 存储 自然语言处理
基于知识库快速搭建智能客服问答 Bot
在数字化转型的大潮中,智能客服系统成为提升企业客户体验与运营效率的关键工具。Botnow平台集成智能体创作与分发功能,提供一站式智能客服问答Bot搭建服务。本文详细介绍了如何利用Botnow的知识库功能及RAG(Retrieve-Augmented Generation)方案快速构建智能客服问答Bot。通过Botnow平台,用户可以轻松创建知识库、配置智能体,并关联知识库以实现智能回答。该方案广泛适用于对话沟通、行业知识库建设、企业内部信息检索及内容创作等多个场景。Botnow平台以其可视化编排、低技术门槛等特点,助力企业轻松实现智能客服系统的搭建与优化,成为数字化转型的重要推手。
236 1
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
手把手带你5分钟搭建企业级AI问答知识库
【8月更文挑战第3天】手把手带你5分钟搭建企业级AI问答知识库
408 4
下一篇
DataWorks