安装OLLAMA
好多同学不知道怎么下载需要用到的工具,我这里给大家都准备好了,需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型,7B大模型,7亿参数,至少需要8G内存,越大回复越流畅,
下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,不能选择安装路径的哦,安装完后,右下角会出现Ollama图标。
创建环境变量
OLLAMA_MODELS,随意指定变量值,如图所示:
PythonOLLAMA_MODELS |
重启OLLAMA
选择右键小图标,然后退出,
在开始菜单中找到重启Ollama
重启后目录如下:
创建Modelfile
在blobs下创建Modelfile文件,没有后缀。
加载模型
1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下,和ModelFile同目录(不一定非要同目录,如果放到其他地方,以下路径随着更改就行)
Plain TextFROM ./qwen7b.gguf |
2、在Modelfile所在路径输入cmd,然后回车:
|
|
3、执行命令
Plain Textollama create qwen -f Modelfile.txt |
等待差不多10分钟,出现success表示成功。
成功后的目录
查看模型
Plain Textollama list |
运行模型
Plain Textollama run qwen |
运行成功的窗口如下:
这样就可以开始对话了
安装包获取
在使用的过程中会遇到很多问题,而且很多问题在网上找不到答案,因此我给大家搭建了一个环境,建了一个群,相关安装包都在里面了,专门沟通AI大模型领域,非诚勿扰!扫码请备注“大模型”,带其他目的人请走开。