本地安装使用ModelScope

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 本地安装使用ModelScope

通过ModelScope的在线NoteBook环境体验了一把AI开发,还不过瘾,必须要在本地搞一下啊,下面按照ModelScope的本地环境安装指南加上自己的多次错误修复,完成了一个简单的例子。

本人环境是Windows 10,python 3.8.2

1、首先安装升级一下pip,不知道为啥要升级,反正就升级吧,通过以下语句升级pip:

python.exe -m pip install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade pip

我这里使用的源是bfsu。tsinghua那个巨慢,不知道啥问题,可供大家参考的源有"-i https://pypi.tuna.tsinghua.edu.cn/simple","-i https://mirrors.ustc.edu.cn/pypi/web/simple"选择一个快的吧,如果这几个都不快,再去找,反正一定要快,要不然不是超时就是出错,反正这件事情挺影响积极性的。

2、升级好了pip以后就按照pytorch和Tensorflow,两个都安装,要不然会报错。

pip3 install torch torchvision torchaudio -i https://mirrors.bfsu.edu.cn/pypi/web/simple

pip3 install tensorflow -i https://mirrors.bfsu.edu.cn/pypi/web/simple

3、然后安装modelscope

pip3 install modelscope -i https://mirrors.bfsu.edu.cn/pypi/web/simple

4、找一个例子开始跑,比如我找的是简单的分词 https://modelscope.cn/docs/wordsegmentation

frommodelscope.modelsimportModelfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasksfrommodelscope.preprocessorsimportTokenClassificationTransformersPreprocessormodel_id='damo/nlp_structbert_word-segmentation_chinese-base'model=Model.from_pretrained(model_id)
tokenizer=TokenClassificationTransformersPreprocessor(model.model_dir)
pipeline_ins=pipeline(task=Tasks.word_segmentation, model=model, preprocessor=tokenizer)
result=pipeline_ins(input="今天天气不错,适合出去游玩")
print (result)

5、运行报错,报了两个错,不是在一起报的,反正一个一个解决,如下:

TypeError: __init__() got an unexpected keyword argument 'allowed_methods'
No module named 'transformers'

6、解决以上的错误:

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade urllib3

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade requests

pip3 install transformers -i https://mirrors.bfsu.edu.cn/pypi/web/simple 

7、再次运行上面的python代码,得到如下结果:

1679035574476.png

貌似靠谱的,哈哈。有人提出怀疑,分词不是有java一堆库吗,这玩意跟AI有啥关系?我也不知道,再找AI的例子跑跑吧,至少现在ModelScope搭建完毕,继续努力


目录
相关文章
|
5月前
|
自然语言处理 PyTorch 算法框架/工具
modelscope问题之安装失败如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
490 1
|
5月前
|
PyTorch 算法框架/工具 Python
pytorch安装教程
pytorch安装教程
132 0
|
机器学习/深度学习 并行计算 PyTorch
PyTorch安装教程
PyTorch是学习深度学习时常用的Python神经网络框架,本文将介绍其部分版本的安装方式。Windows和Linux通用。 作者使用anaconda作为管理虚拟环境的工具。以下工作都在虚拟环境中进行,对Python和Aanaconda的安装及对虚拟环境的管理本文不作赘述,后期可能会撰写相关的博文。
PyTorch安装教程
|
11天前
|
PyTorch TensorFlow 算法框架/工具
Jetson环境安装(一):Ubuntu18.04安装pytorch、opencv、onnx、tensorflow、setuptools、pycuda....
本文提供了在Ubuntu 18.04操作系统的NVIDIA Jetson平台上安装深度学习和计算机视觉相关库的详细步骤,包括PyTorch、OpenCV、ONNX、TensorFlow等。
23 1
Jetson环境安装(一):Ubuntu18.04安装pytorch、opencv、onnx、tensorflow、setuptools、pycuda....
|
4月前
|
TensorFlow 算法框架/工具 Python
最新版tensorflow安装教程,pip安装+手动安装
最新版tensorflow安装教程,pip安装+手动安装
107 1
|
5月前
|
API 计算机视觉 Docker
ModelScope问题之安装mmcv报错如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
350 2
|
5月前
|
并行计算 PyTorch 算法框架/工具
pytorch的安装步骤
pytorch的安装步骤
163 6
|
5月前
|
算法 前端开发 API
Gradio库的安装和使用教程
Gradio库的安装和使用教程
708 0
|
5月前
|
自然语言处理 JavaScript Serverless
ModelScope问题之镜像无法安装nodejs和npm如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
156 0
|
安全 虚拟化 Docker
在win10中使用ModelScope官方镜像
为在办公环境笔记本win10上测试ModelScope的开源模型 ,记录踩坑过程
2092 0
在win10中使用ModelScope官方镜像