本地安装使用ModelScope

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 本地安装使用ModelScope

通过ModelScope的在线NoteBook环境体验了一把AI开发,还不过瘾,必须要在本地搞一下啊,下面按照ModelScope的本地环境安装指南加上自己的多次错误修复,完成了一个简单的例子。

本人环境是Windows 10,python 3.8.2

1、首先安装升级一下pip,不知道为啥要升级,反正就升级吧,通过以下语句升级pip:

python.exe -m pip install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade pip

我这里使用的源是bfsu。tsinghua那个巨慢,不知道啥问题,可供大家参考的源有"-i https://pypi.tuna.tsinghua.edu.cn/simple","-i https://mirrors.ustc.edu.cn/pypi/web/simple"选择一个快的吧,如果这几个都不快,再去找,反正一定要快,要不然不是超时就是出错,反正这件事情挺影响积极性的。

2、升级好了pip以后就按照pytorch和Tensorflow,两个都安装,要不然会报错。

pip3 install torch torchvision torchaudio -i https://mirrors.bfsu.edu.cn/pypi/web/simple

pip3 install tensorflow -i https://mirrors.bfsu.edu.cn/pypi/web/simple

3、然后安装modelscope

pip3 install modelscope -i https://mirrors.bfsu.edu.cn/pypi/web/simple

4、找一个例子开始跑,比如我找的是简单的分词 https://modelscope.cn/docs/wordsegmentation

frommodelscope.modelsimportModelfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasksfrommodelscope.preprocessorsimportTokenClassificationTransformersPreprocessormodel_id='damo/nlp_structbert_word-segmentation_chinese-base'model=Model.from_pretrained(model_id)
tokenizer=TokenClassificationTransformersPreprocessor(model.model_dir)
pipeline_ins=pipeline(task=Tasks.word_segmentation, model=model, preprocessor=tokenizer)
result=pipeline_ins(input="今天天气不错,适合出去游玩")
print (result)

5、运行报错,报了两个错,不是在一起报的,反正一个一个解决,如下:

TypeError: __init__() got an unexpected keyword argument 'allowed_methods'
No module named 'transformers'

6、解决以上的错误:

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade urllib3

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade requests

pip3 install transformers -i https://mirrors.bfsu.edu.cn/pypi/web/simple 

7、再次运行上面的python代码,得到如下结果:

1679035574476.png

貌似靠谱的,哈哈。有人提出怀疑,分词不是有java一堆库吗,这玩意跟AI有啥关系?我也不知道,再找AI的例子跑跑吧,至少现在ModelScope搭建完毕,继续努力


目录
相关文章
|
4月前
|
自然语言处理 PyTorch 算法框架/工具
modelscope问题之安装失败如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
422 1
|
4月前
|
PyTorch 算法框架/工具 Python
pytorch安装教程
pytorch安装教程
117 0
|
机器学习/深度学习 并行计算 PyTorch
PyTorch安装教程
PyTorch是学习深度学习时常用的Python神经网络框架,本文将介绍其部分版本的安装方式。Windows和Linux通用。 作者使用anaconda作为管理虚拟环境的工具。以下工作都在虚拟环境中进行,对Python和Aanaconda的安装及对虚拟环境的管理本文不作赘述,后期可能会撰写相关的博文。
PyTorch安装教程
|
3月前
|
TensorFlow 算法框架/工具 Python
最新版tensorflow安装教程,pip安装+手动安装
最新版tensorflow安装教程,pip安装+手动安装
73 1
|
4月前
|
并行计算 PyTorch 算法框架/工具
pytorch的安装步骤
pytorch的安装步骤
148 6
|
4月前
|
自然语言处理 JavaScript 计算机视觉
ModelScope安装问题之无法安装如何解决
ModelScope安装是指设置和部署ModelScope环境的过程;本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
276 0
|
安全 虚拟化 Docker
在win10中使用ModelScope官方镜像
为在办公环境笔记本win10上测试ModelScope的开源模型 ,记录踩坑过程
2037 0
在win10中使用ModelScope官方镜像
|
自然语言处理 Shell 测试技术
modelscope库安装
modelscope库安装
5780 0
modelscope库安装
|
机器学习/深度学习 IDE Java
tensorflow安装以及在Anaconda中安装使用
tensorflow安装以及在Anaconda中安装使用
tensorflow安装以及在Anaconda中安装使用
|
Ubuntu TensorFlow 算法框架/工具
最新 Tensorflow 2.2极简安装教程 | 学习笔记
快速学习最新 Tensorflow 2.2极简安装教程
最新 Tensorflow 2.2极简安装教程 | 学习笔记