使用LM Studio在本地运行LLM完整教程

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: GPT-4被普遍认为是最好的生成式AI聊天机器人,但开源模型一直在变得越来越好,并且通过微调在某些特定领域是可以超过GPT4的。

在开源类别中出于以下的原因,你可能会考虑过在本地计算机上本地运行LLM :

  1. 脱机:不需要互联网连接。
  2. 模型访问:在本地运行模型,可以尝试开源模型(Llama 2、Vicuna、Mistral、OpenOrca等等)。
  3. 隐私:当在本地运行模型时,没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时,隐私问题可能被夸大了,但在本地运行模型可以避免任何问题。
  4. 实验:如果你看到了生成人工智能的价值,可以通过测试了解模型的细节并知道还有什么可用。
  5. 成本:开源模型是免费的,其中一些可以不受限制地用于商业。

对许多人来说,运行本地LLM需要一点计算机知识,因为它通常需要在命令提示符中运行它们,或者使用更复杂的web工具,如Oobabooga。

LM Studio是一个免费的桌面软件工具,它使得安装和使用开源LLM模型非常容易。

但是请记住,LM Studio并不开源,只是免费使用

但是LM Studio是我目前见到最好用,也是最简单的本地测试工具,所以如果是本机测试使用的话还是推荐试一试他。

首先进入“lmstudio.ai”,下载并安装适合操作系统的版本:

LM Studio,选择要安装的LLM。

可以通过选择主窗口中列出的社区建议模型之一来实现进行,也可以使用HuggingFace上可用的任何模型的搜索栏查找关键字。

模型搜索列表中可以看到安装/下载文件的大小。请确保下载的大小没有问题。(国内需要魔法)

在屏幕左上角的发布日期栏,是“compatibility guess”。LM Studio已经检查了本地系统,并展示它认为可以在计算机上运行的那些模型。要查看所有模型,点击“compatibility guess”(#1)。点击左边的一个模型,右边就会显示可用的版本,并显示那些根据你的电脑规格应该可以工作的模型(#2)。见下图:

根据计算机的能力/速度,较大的模型将更准确,但速度较慢。并且这个鞋模型中的大多数都是量化的,包含了GGML和GGUF等格式。(具体这些格式可以参考我们以前的文章)

模型下载完成后,(1)在窗口顶部的下拉菜单中选择模型;(2)选择左侧栏中的聊天气泡;(3)打开右侧的“Context Overflow Policy”和“Chat Appearance”。

确保在“Context Overflow Policy”下选择“Maintain a rolling window and truncate past messages”,并在“Chat Appearance”下选择“Plaintext”。

打开“Model Configuration”,然后打开“Prompt Format”,向下滚动到“Pre-prompt / System prompt”,选择“>”符号打开。可以在这里输入系统“role”。也就是说可以设定希望机器人如何行动,以及在它的回答中应该提供什么“技能”或其他特定的品质。这与ChatGPT Plus帐户的“Custom instructions”相同。


继续向下滚动,找到“Hardware Settings”。默认设置是计算机的CPU完成所有工作,但如果安装了GPU,将在这里看到它。如果GPU显存不够,可以将GPU想要处理多少层(从10-20开始)这会将一部分层使用GPU处理,这与llama.cpp的参数是一样的。还可以选择增加LLM使用的CPU线程数。默认值是4。这个也是需要根据本地计算机进行设置。

完成这些更改后,就可以使用本地LLM了。只需在“USER”字段中输入查询,LLM将响应为“AI”。

可以看到LM Studio提供了极好的体验,为ChatGPT提供了一个很好的本地替代方案。LM Studio提供了一种使用OpenAI兼容接口来提供模型的方便方法,这简化了与使用OpenAI作为后端的客户端的集成。

如果你正在寻找一种快速简便的方法来设置和使用具有不同开源模型的聊天或服务器供个人使用,LM Studio是一个很好的起点。

https://avoid.overfit.cn/post/bc8b0a511ea94cad81b581ef5bd19d39

作者:Gene Bernardin

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
5月前
|
数据可视化 物联网 Swift
谷歌发布开源LLM Gemma,魔搭社区评测+最佳实践教程来啦!
Gemma是由Google推出的一系列轻量级、先进的开源模型,他们是基于 Google Gemini 模型的研究和技术而构建。
|
11月前
|
人工智能 数据挖掘 API
AutoGen完整教程和加载本地LLM示例
Autogen是一个卓越的人工智能系统,它可以创建多个人工智能代理,这些代理能够协作完成任务,包括自动生成代码,并有效地执行任务。
687 0
|
2月前
|
人工智能 安全 机器人
LLM对齐数据全自动合成!UW华人博士生提出Magpie方法,Macbook Air即可运行
【8月更文挑战第11天】在AI领域,大型语言模型(LLM)的行为对齐一直是个挑战。华盛顿大学研究人员提出名为Magpie的新方法,能自动高效生成高质量指令数据,减少人工干预,提升LLM的对齐效果。通过输入模板,Magpie利用已对齐LLM生成能力自动生成指令数据,仅需少量GPU资源即可创建大规模数据集。实验显示,使用Magpie数据集微调的模型性能媲美传统监督方法。尽管如此,Magpie仍需进一步优化以生成特定领域指令并确保数据安全性。[论文](https://arxiv.org/abs/2406.08464)
146 60
|
3月前
|
人工智能 JSON 自然语言处理
国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
【7月更文挑战第7天】国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
179 10
国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【LLM】能够运行在移动端的轻量级大语言模型Gemma实践
【4月更文挑战第12天】可以运行在移动端的开源大语言模型Gemma模型介绍
278 0
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)(一)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)
374 0
|
5月前
开箱黑盒LLM!谷歌大一统框架Patchscopes实战教程来了
【5月更文挑战第7天】谷歌推出Patchscopes框架,提升大型语言模型(LLM)的可解释性,通过分解LLM为可解释的Patch模型进行调试。本文提供实战教程,介绍如何安装Patchscopes库、加载预训练模型并查看模型解释性报告。虽然优势在于增强理解与问题定位,但Patchscopes适用模型有限,报告理解需专业知识,且计算成本高。[论文链接](https://arxiv.org/pdf/2401.06102.pdf)
50 1
|
5月前
|
人工智能 iOS开发 MacOS
Ollama--本地大语言模型LLM运行专家
Ollama--本地大语言模型LLM运行专家
1867 2
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)(二)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)
265 0
|
5月前
|
并行计算 Linux iOS开发
llamafile:单个文件分发和运行LLM
为了方便更多的零基础的初学者体验大语言模型,llamafile 提出了单文件运行大模型的方案。