[使用ModelScope]只要5分钟,快速实现中文情感分类模型

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 本文介绍基于ModelScope,快速实现一个中文情感分类模型,只需不到5分钟,即可获得工业级优异表现的深度学习模型。

参考文档

  • 我们使用的是:达摩情感分类模型,该模型基于StructBERT实现,StructBERT是达摩院自研的深度语言模型,在中文数据上表现优异。

开发环境

image.png操作步骤

  1. 阅读文档提供的代码示例可以看到,操作步骤非常简单,仅仅只需要4行代码。

image.png

  1. 我们首先选择GPU环境(开发环境链接实例启动大约需要1分钟左右),可以看到系统已经预装了镜像,包括cuda、python3.7、torch1.11.0、tensorfow1.15.5等,即开即用,无需自己再安装了。实例启动后,参考下面截图步骤1和2打开notebook:

image.png

  1. 接下来我们复制参考文献的示例代码,逐行执行:

image.png

image.png

  1. 注意到,执行第3行代码需要的时间比较久,从日志可以看出来,主要是在下载模型包。如果对bert比较了解的话,可以从日志看出来,最大的文件是模型参数文件pytorch_model.bin,体积有390M。

image.png

  1. 等待1分钟左右即可下载完成,网速还是挺快的。执行最后一行代码,最后一行代码就是进行情感分析了,我们输入一句话,得到一个json格式的输出。输出的结构也比较明显,labels的1和0分别对应正面情感和负面情感,scores对应情感的概率。可以看出,我们的输入是“启动的时候很大声音,然后就会听到1.2秒的卡察的声音,类似齿轮摩擦的声音”,它的正面概率是0.07,负面概率是0.92,还是蛮准的。大家可以多测试一些例子看看效果。

image.png

最后

  • 就这么简单,5分钟不到,只需要4行代码,我们就实现了一个工业级中文情感分类模型。
  • 多说几句,从模型说明文档可以看到,该模型是基于bdci、dianping、jd binary、waimai-10k四个数据集(11.5w条数据)训练出来的情感分类模型,相信在这几个数据集或者比较相关的数据上效果是不错的,但是如果你的数据和这几个数据集差异很大,例如是英文的,或者垂直领域的(汽车、鞋服等),模型的效果可能要打一些折扣。这种情况下,就需要在达摩情感分类模型的基础上去适配你的领域数据,希望ModelScope尽早开放模型进一步finetune的能力。
相关文章
|
4月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
100 1
|
4月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
168 2
|
4月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
4月前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
321 1
|
1月前
|
人工智能 开发框架 物联网
赢万元奖金 | 第七届CCF开源创新大赛ModelScope开源模型应用挑战赛开启报名!
第七届CCF开源创新大赛(后简称“大赛”) 由中国计算机学会(CCF)主办,长沙理工大学、CCF开源发展委员会联合承办。
|
4月前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
387 3
|
3月前
|
人工智能 开发工具 Swift
ModelScope联手OpenDataLab:直接调用7000+开源数据集,赋能AI模型加速研发
魔搭社区和OpenDatalab浦数合作,共同开启一场模型与数据的深度融合,旨在为中国开发者打造更加高效、开放的AI体验。
|
4月前
|
机器学习/深度学习 人工智能 Swift
PAI x ModelScope: 在PAI使用ModelScope模型
在当前的人工智能领域,特别是大语言模型、文生图等领域,基于预训练模型完成机器学习模型的开发部署已成为重要的应用范式,开发者们依赖于这些先进的开源预训练模型,以简化机器学习应用的开发并加速创新。
|
4月前
|
机器学习/深度学习 测试技术 TensorFlow
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例,演示在DSW实例中如何快速调用模型,然后通过Python SDK将模型部署到阿里云PAI EAS服务,并演示使用EAS SDK实现对服务的快速调用,重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
173 2
|
4月前
modelscope-funasr怎么拿验证集评估微调后的模型效果呢
【2月更文挑战第19天】modelscope-funasr怎么拿验证集评估微调后的模型效果呢
74 1