免费部署一个开源大模型 MOSS

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 近日复旦大学自然语言处理实验室邱锡鹏教授团队研发的大语言模型 MOSS 也已公开发布并开源。MOSS 的公开发布无疑加剧了国内 ChatGPT 式产品的竞争。

2023年初,ChatGPT 人工智能对话模型火爆全球,仅两个月的时间就突破一亿月活用户,成为有史以来应用速度最快的技术之一。


ChatGPT 的大热引发了全球科技巨头之间的“军备竞赛”,中国本土的“中国版 ChatGPT ”也随之展开了激烈角逐。在中国多家科技公司中,百度于3月上线的对话 AI 产品“文心一言”最先开火。


近日复旦大学自然语言处理实验室邱锡鹏教授团队研发的大语言模型 MOSS 也已公开发布并开源。MOSS 的公开发布无疑加剧了国内 ChatGPT 式产品的竞争。

MOSS 是什么?

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

申请服务器

这里使用阿里云免费的 GPU 服务器进行部署,免费试用活动页 https://free.aliyun.com/

只要没有申请过 PAI-DSW 资源的新老用户皆可申请 5000CU 的免费额度,3个月内使用。

点击试用,完成注册、实名、领取产品后进入如下页面。

创建工作空间并授权。

授权完成,前往默认工作空间。

创建交互式建模(DWS)实例。

输入实例名称,就叫它 550W 吧~,GPU 选择 A10 或者 V100 都行,这俩是支持资源包抵扣的,其他的不支持,这里注意!V100 性能更好,但我们测试使用没必要,就选 A10 就行,A10 显卡每小时消耗6.991计算时,如果不关机持续使用大概可以使用30天。

数据集是可选的,如果想闲时关机建议使用数据集,可以把数据保存,不然每次关机后启动都得重新部署。

选择镜像 URL,填入与地区对应的镜像地址。

杭州地域:dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

北京地域:dsw-registry-vpc.cn-beijing.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

上海地域:dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

深圳地域:dsw-registry-vpc.cn-shenzhen.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

然后点击下一步,耐心等待实例创建,这个过程还是比较耗时的。

部署 MOSS

实例创建成功后,点击打开,进入控制台。

进入下面这个页面后,点击 “Terminal” 进入命令行。

1、下载仓库内容到本地

# git clone https://github.com/OpenLMLab/MOSS.git

2、进入MOSS文件夹

# cd MOSS

3、修改 requirements.txt

torch==1.10.1 改为 torch==1.13.1

4、安装依赖

# pip install -r requirements.txt

5、修改 moss_cli_demo.py 文件第 31 至 33 行

model = load_checkpoint_and_dispatch(

   raw_model, model_path, device_map="auto", no_split_module_classes=["MossBlock"], dtype=torch.float16, max_memory={0: "18GiB", "cpu": "26GiB"}

)

6、启动服务,第一次启动需要下载模型,耐心等待

# python moss_cli_demo.py

等待一段时间后,出现以下对话框就是安装成功了,你就可以跟MOSS对话啦~

总结

MOSS 的公开无异于宣告与百度对话模型的“正面竞争”,这场人工智能的“决战”注定轰动一时。未来几个月, ChatGPT 式对话产品将在中国大行其道,而 MOSS 和“文心一言”的 PK 则成为行业和公众最关心的话题。这场竞赛的结果,将对中国在人工智能领域的地位产生重大影响。人工智能时代的创新,正在以前所未有的速度在中国大陆蔓延。


MOSS 和“文心一言”的竞逐,只是 AI 产业发展的序章。随着竞争不断升级,未来的 AI 产品将更加智能,技术创新更加频繁。中国终将在这场科技革命的浪潮中,占领一席之地。

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
4月前
|
数据可视化 物联网 Swift
谷歌发布开源LLM Gemma,魔搭社区评测+最佳实践教程来啦!
Gemma是由Google推出的一系列轻量级、先进的开源模型,他们是基于 Google Gemini 模型的研究和技术而构建。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
谷歌AI Gemini 官方网站是什么?国内如何使用Gemini 1.5 pro
Gemini是Google开发的先进大型语言模型(LLM),旨在处理多种自然语言处理任务,如文本生成、翻译、摘要和对话生成。作为Google AI项目的一部分,Gemini结合了最新的研究成果和技术,显著提高了自然语言处理的准确性和效率。该模型经过大量文本数据的训练,使其能够理解和生成高质量的文本。
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
国内怎么使用Gemini ?gemini使用经验分享!
Gemini,是Google潜心研发的划时代大型语言模型(LLM),它如同一位博学多才的语言大师,精通文本生成、翻译、摘要和对话生成等多种自然语言处理任务。作为Google AI皇冠上的明珠,Gemini融合了尖端的科研成果和技术,将自然语言处理的准确性和效率提升到前所未有的高度。
|
2月前
|
人工智能 自然语言处理 API
谷歌Gemini使用教程,从认识gemini到精通使用
谷歌 Gemini 是由 Google 开发的一种多模态 AI 语言模型,具备多项强大功能,能够理解和生成自然语言,协助完成各种与语言相关的任务。
|
23天前
|
人工智能 自然语言处理 机器人
谷歌AI Gemin怎么使用?Gemini国内使用指南!(2024.8.19)
从自然语言处理(NLP)到对话生成,AI语言模型已经成为科技界的一个重要组成部分。在众多杰出的AI语言模型中,Gemini凭借其卓越的性能和广泛的应用而脱颖而出。作为谷歌旗下的多模态AI巨头,Gemini融合了最先进的语言处理技术,为用户提供了无与伦比的语言理解和生成能力。
|
2月前
|
人工智能 自然语言处理 测试技术
Meet Llama3.1,405B赶超最强闭源模型!上魔搭社区一站体验、下载、推理、微调、部署
官方公布的Benchmark显示,Llama3.1 405B已在多项基准测试中超越GPT-4o和Claude 3.5 Sonnet,这是开源大模型首次赶超最强闭源模型!
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
Google gemini官网入口是什么_谷歌 AI gemini国内怎么使用
随着人工智能(AI)技术的迅猛发展,各大科技公司不断推出更为先进的AI模型,推动技术的边界。Google开发的Gemini便是其中的佼佼者。作为一款大型语言模型(LLM),Gemini旨在处理多种自然语言处理(NLP)任务,如文本生成、翻译、摘要和对话生成。Gemini结合了最新的研究成果和技术,显著提高了自然语言处理的准确性和效率。
|
机器学习/深度学习 Web App开发 人工智能
Colaboratory:手把手教你使用Google免费的云端IDE进行深度学习(免费的GPU加速)的详细攻略
Colaboratory:手把手教你使用Google免费的云端IDE进行深度学习(免费的GPU加速)的详细攻略
Colaboratory:手把手教你使用Google免费的云端IDE进行深度学习(免费的GPU加速)的详细攻略
|
4月前
|
人工智能 数据安全/隐私保护
|
4月前
|
人工智能 自然语言处理 负载均衡
这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!
这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!
191 1