Modelscope 中文竞技场大模型评测

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介: 本次评测我选得三个类别分别是:写作创作相关、中文游戏、知识常识三个类别。

《一》评测相关配置介绍

本次使用的模型为:ziya-llama-13b-v1、chatglm-6b-v2、baichuan-13b-chat-v1、chatyuan-large-v1、chatPLUG-100Poison,我都是采用的双模型形式测试的。

《二》评测步骤

在中文竞技场模型中,点击立即进入。下面可以选分类。

  1. 第一个分类我选得是写作创作相关,提了两个文学问题和一个自己实际生活需要解决的问题,ziya-llama-13b-v1和chatglm-6b-v2两个模型,在这个方便各有千秋。ziya-llama-13b-v1回答的较详细,且结果朗朗上口好容易就看懂,像平时的记事文章。chatglm-6b-v2呢,回答的就比较简介,感觉很牛的样子,专业性会比较强。但是就我而言,我更喜欢模型A,很容易读懂。
    634ac6a4b569865e31eb00e5ec246091.png

  2. 第二个分类我选得是中文分类相关的。问了一个成语的意思和两个字谜。这一个环节baichuan-13b-chat-v1完胜chatyuan-large-v1,baichuan-13b-chat-v1整理都回答出了我想问的问题,对于问题的重点捕获非常到位,chatyuan-large-v1基本上没有捕获到问题的重点,草草回答了几个字,很是潦草。
    85cb836aeee51ac5c9b568f165d1feb6.png

  3. 第三个环节是知识常识。问了一些数学和社会的问题。chatPLUG-100Poison回答得很详细,会把解题步骤都给写出来。chatyuan-large-v1这次把问题的重点都给捕获到了,回答得非常简介,几乎是没有步骤可言,比较适用于有基础,就想知道答案的同学。
    3abbe4641a8fd552057b1416b4319175.png

    《评测总结》

  • chatyuan-large-v1非常不擅长文字类的问题。回答数学问题或者专业性抢得问题还不错,但是比较适合基础较好或者理解能力非常高的用户使用,步骤比较简介,或直接给出答案。
  • chatPLUG-100Poison这个还是非常不错的。对于文字问题以及专业问题都掌握得非常好。而且步骤很详细,适合于大部分用户。
  • baichuan-13b-chat-v1我让百川回答了几个字谜,分析得很有道理。是比较机灵的模型,值得推荐。
  • chatglm-6b-v2回答问题的重点和详细程序都掌握得不错,但是回答得内容,不能普遍适用。
  • ziya-llama-13b-v1这个还是非常优秀的。是我最喜欢的文字回答模型,回答到我心坎里了,而且答案超级适用,适合大力推广。
目录
相关文章
|
7月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
186 1
|
7月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
222 2
|
7月前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
517 1
|
2月前
|
弹性计算 Serverless API
海量大模型如何一键部署上云,函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力,魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩(缩零能力)、GPU 虚拟化(最小 1GB 显存粒度)、异步调用能力、按用付费、闲置计费等能力,这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
|
4月前
|
人工智能 开发框架 物联网
赢万元奖金 | 第七届CCF开源创新大赛ModelScope开源模型应用挑战赛开启报名!
第七届CCF开源创新大赛(后简称“大赛”) 由中国计算机学会(CCF)主办,长沙理工大学、CCF开源发展委员会联合承办。
|
6月前
|
人工智能 开发工具 Swift
ModelScope联手OpenDataLab:直接调用7000+开源数据集,赋能AI模型加速研发
魔搭社区和OpenDatalab浦数合作,共同开启一场模型与数据的深度融合,旨在为中国开发者打造更加高效、开放的AI体验。
|
7月前
|
机器学习/深度学习 人工智能 Swift
PAI x ModelScope: 在PAI使用ModelScope模型
在当前的人工智能领域,特别是大语言模型、文生图等领域,基于预训练模型完成机器学习模型的开发部署已成为重要的应用范式,开发者们依赖于这些先进的开源预训练模型,以简化机器学习应用的开发并加速创新。
|
7月前
|
机器学习/深度学习 测试技术 TensorFlow
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例,演示在DSW实例中如何快速调用模型,然后通过Python SDK将模型部署到阿里云PAI EAS服务,并演示使用EAS SDK实现对服务的快速调用,重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
240 2
|
7月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
7月前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
908 3

热门文章

最新文章