一键本地部署类GPT大模型,免费!

简介: 一键本地部署类GPT大模型,免费!

ChatGPT作为一种基于大型语言模型的生成式人工智能,不仅仅能够回答传统问题,涵盖了人文、科学、情感等各个领域,它还能够帮助写代码、改bug等。然而,要体验ChatGPT还是比较麻烦的,因为它没有开源。虽然也有其他的开源AI大语言模型,但是部署到本地流程太多,容易给人整不会了。没关系,今天介绍一个开源项目,帮你一键本地免费、无限用AI大模型聊天


Text generation web UI简介

AI绘画界的Stable Diffuison Web UI,相信大家不会陌生,它做到了把非常复杂的AI绘画做成了可视化的网页,极大的提升了AI绘画的体验。而今天介绍的这款叫做Text generation web UI的开源项目,它的目标是成为文本生成领域的Stable Diffuison Web UI,即为类ChatGPT的大语言模型制作一款容易快速上手的网页。

2ddbe5c779184595f0ce3d5cd0627fe9.png

Text generation web UI可以用于运行 LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA 等开源的大型语言模型。


一键安装,免费!

通过以下链接,可以快速访问Text generation web UI:

https://github.com/oobabooga/text-generation-webui

找到“一键安装程序”区域,根据自己操作系统的类型,下载zip文件,将其解压。

f06d5feb3569e0b58a6989965817730e.png

然后双击“start-windows”即可。Web UI 及其所有依赖项将安装在同一文件夹中。

0ed6bc18a08184635704877eaa3fec99.png

自动开始下载依赖环境。

ea5fabcb430f386217456c02ff424376.png

中间会让你选择自己电脑的显卡是什么牌子的,大家按需选择即可。

7f3537969a36a3cf46fc39a9d38a2130.png

等待片刻,下载完成后,还需要下载至少一个开源的大语言模型。进入以下目录中oobabooga_windows\text-generation-webui,在上方地址中输入“cmd”。

8cde02916a0ccf207336f2ae83e8b3a0.png

在打开的命令指示窗口,输入需要下载的模型,比如:

python download-model.py facebook/opt-350m

等待下载完成后,再回到项目目录,点击“start-windows”,即可启动。然后将下方弹窗中的地址,输入到浏览器。

f4379cf881ec04740b4a50acfb56bc14.png

可以愉快地跟你专属的AI大语言模型聊天了~感兴趣的朋友,快去试试吧,咱们下期再见~

b8d04e52f7df19dbd17c78ac5deca3e1.png



目录
相关文章
|
8月前
|
数据可视化 API Swift
全模态图像模型Nexus-Gen对齐GPT-4o!同时搞定,数据、训练框架、模型全面开源
OpenAI GPT-4o发布强大图片生成能力后,业界对大模型生图能力的探索向全模态方向倾斜,训练全模态模型成研发重点。
352 17
|
9月前
|
容器
vllm+vllm-ascend本地部署QwQ-32B
本指南介绍如何下载、安装和启动基于Ascend的vLLM模型。首先,可通过华为镜像或Hugging Face下载预训练模型;其次,安装vllm-ascend,支持通过基础镜像(如`quay.io/ascend/vllm-ascend:v0.7.3-dev`)或源码编译方式完成;最后,使用OpenAI兼容接口启动模型,例如运行`vllm serve`命令,设置模型路径、并行规模等参数。适用于大模型推理场景,需注意显存需求(如QwQ-32B需70G以上)。
3669 17
|
6月前
|
机器学习/深度学习 人工智能 编解码
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
|
9月前
|
人工智能 Linux API
119K star!无需GPU轻松本地部署多款大模型,DeepSeek支持!这个开源神器绝了
"只需一行命令就能在本地运行Llama 3、DeepSeek-R1等前沿大模型,支持Windows/Mac/Linux全平台,这个开源项目让AI开发从未如此简单!"
553 0
|
9月前
|
机器学习/深度学习 人工智能 前端开发
SWEET-RL:8B小模型暴打GPT-4?Meta开源强化学习黑科技,多轮任务成功率飙升6%
Meta最新开源的SWEET-RL框架通过优化多轮交互任务的信用分配机制,使Llama-3.1-8B模型在协作推理任务中的表现提升6%,性能达到顶尖大模型水平。
486 33
SWEET-RL:8B小模型暴打GPT-4?Meta开源强化学习黑科技,多轮任务成功率飙升6%
|
10月前
|
机器学习/深度学习 人工智能 开发者
GPT-4o-mini-transcribe:OpenAI 推出实时语音秒转文本模型!高性价比每分钟0.003美元
GPT-4o-mini-transcribe 是 OpenAI 推出的语音转文本模型,基于 GPT-4o-mini 架构,采用知识蒸馏技术,适合在资源受限的设备上运行,具有高效、实时和高性价比的特点。
593 2
GPT-4o-mini-transcribe:OpenAI 推出实时语音秒转文本模型!高性价比每分钟0.003美元
|
人工智能 Linux iOS开发
本地部署大模型DeepSeek并通过Infortress App远程访问
本地部署DeepSeek大模型后,如何在外网用手机随时随地访问?无需复杂设置,通过Infortress App即可轻松实现!只需三步:安装Infortress服务端、一键部署DeepSeek大模型、安装手机/电脑客户端。Infortress支持纯图形化操作,适合新手,还自带内网穿透功能,跨网络访问无忧。让本地AI随身携带,数据掌控在手,随时随地使用!

热门文章

最新文章