免费高效!3步实现Llama3模型远程访问与协作

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Meta发布了全新的开源大语言模型Llama 3,LM Studio是一款免费的桌面端工具,支持一键安装和运行Llama 3模型,实现本地使用。LM Studio还提供了Local Server功能,便于集成AI功能。通过贝锐花生壳,可轻松实现LM Studio接口的远程访问,无需公网IP或端口映射。

前段时间,Meta全新的开源大语言模型Llama 3发布了!


如果想要快速使用Llama 3,使用免费的桌面端工具LM Studio是个不错的选择,支持一键安装,运行Llama 3模型,实现本地使用。



同时,LM Studio还提供了Local Server功能,可以提供接口调用服务,便于App、应用软件、前端网页集成AI功能。



然而,Local Server功能默认提供的是本地访问地址,为了快速远程调用,开发者们需要解决开发环境的远程访问难题。

在无需公网IP、不用端口映射、不设置路由/网关的情况下,搭配贝锐花生壳花生壳,就可以3步实现LM Studio接口的远程访问。



LM Studio启用Local Server功能后,通过贝锐花生壳实现远程访问的步骤如下:

第一步:在贝锐官网下载花生壳客户端,并注册贝锐帐号,并内网主机上安装登录客户端:



第二步:进入花生壳云端管理平台→点击内网穿透→添加映射→选择“网站应用”开始创建即可;



对于常见的网站应用,目前花生壳提供HTTP和HTTPS两种类型可用。

HTTP:可用于搭建HTTP协议的站点映射,属于非加密访问,建议搭配访问控制提升网站安全性:

HTTPS:用于创建访问安全加密的站点映射,同时花生壳可自动云端部署证书,本地无需额外申请、设置,非常方便。


第三步: 根据提示进行设置,如下图正确填写相关信息后,点击保存,就会自动生成一个外网访问地址。



生成完成后,复制生成的访问地址+接口路径,就可以实现LM Studio的接口远程调用。


目录
相关文章
|
5月前
|
机器学习/深度学习 人工智能 安全
千帆大模型平台再升级:接入大模型最多、Prompt模板最全面
千帆大模型平台再升级:接入大模型最多、Prompt模板最全面
246 1
|
5天前
|
机器学习/深度学习 弹性计算 自然语言处理
前端大模型应用笔记(二):最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文,表现优异,和移动端更配
llama3.1支持128K上下文,6万字+输入,适用于多种场景。模型能力超出预期,但处理中文时需加中英翻译。测试显示,其英文支持较好,中文则需改进。llama3.2 1B参数量小,适合移动端和资源受限环境,可在阿里云2vCPU和4G ECS上运行。
|
9天前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
20 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
1月前
|
弹性计算 网络协议 API
原生Claude3免魔法本地轻松上手,这3步你必须要知道
本文详细介绍了如何在阿里云ECS上部署LobeChat,并通过Cloudflare实现Claude3 API的代理访问。首先准备ECS、Claude3 API密钥及域名,接着通过Docker部署LobeChat,并配置相关环境变量。然后,在Cloudflare上创建站点并部署API代理,最后通过SSH端口映射在本地访问LobeChat。文中提供了具体步骤与示例代码,帮助读者顺利完成部署,体验高效便捷的AI聊天功能。
85 2
|
2月前
|
测试技术 Linux Shell
ChatGPT访问难?ChatGLM+花生壳打造可远程访问的平替方案
ChatGPT虽强大,但访问受限。清华大学开源的ChatGLM提供了一种解决方案:用户可根据需求部署私有化的对话服务,支持中英文交互。与ChatGPT不同,ChatGLM便于定制与训练,并能获取已训练模型。结合贝锐花生壳等内网穿透工具,可轻松实现ChatGLM-webui远程访问,无需固定公网IP或路由配置,适用于测试及实际项目,有效规避了访问难题。
61 3
|
4月前
|
人工智能 Linux Docker
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型(1)
近年来,大模型在AI领域崭露头角,成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出,大模型展现出了强大的语言生成、理解和多任务处理能力,预示着智能化转型的新阶段。然而,要将大模型的潜力转化为实际生产力,需要克服理论到实践的鸿沟,实现从实验室到现实世界的落地应用。阿里云去年在云栖大会上发布了一系列基于通义大模型的创新应用,标志着大模型技术开始走向大规模商业化和产业化。这些应用展示了大模型在交通、电力、金融、政务、教育等多个行业的广阔应用前景,并揭示了构建具有行业特色的“行业大模型”这一趋势,大模型知识库概念随之诞生。
137767 29
|
2月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow Serving 部署指南超赞!让机器学习模型上线不再困难,轻松开启高效服务之旅!
【8月更文挑战第31天】TensorFlow Serving是一款高性能开源服务系统,专为部署机器学习模型设计。本文通过代码示例详细介绍其部署流程:从安装TensorFlow Serving、训练模型到配置模型服务器与使用gRPC客户端调用模型,展示了一站式模型上线解决方案,使过程变得简单高效。借助该工具,你可以轻松实现模型的实际应用。
33 0
|
2月前
|
API
求助:使用阿里的通义模型如何支持运行GraphRAG项目呢?
求助:使用阿里的通义模型如何支持运行GraphRAG项目呢?
87 1
|
3月前
|
存储 人工智能 自然语言处理
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
在人工智能领域,大型语言模型的发展日新月异,它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
|
5月前
|
人工智能 自然语言处理 数据可视化
一键本地部署类GPT大模型,免费!
一键本地部署类GPT大模型,免费!
176 1