中文竞技场活动使用评测体验

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 中文竞技场体验中文大语言模型,并可以在写作创作相关,代码相关,知识常识,中文游戏,人类价值观,NLP专业领域中测试不同的模型效果。每个领域提供了一些示例的提示词 。活动参与地址:https://developer.aliyun.com/topic/ms2023

前言:

中文竞技场的整体使用体验,本次体验主要尝试了三种情况,第一种是双模型对话,目前只有“写作创作相关”的内容是可以正常显示的,但是生成的内容不是很友好,存在生成的内容有错误的字;第二个双模型对话的,“知识常识”的模块,这一部分的内容没有生成相关的内容,直接报错了;第三种 情况是“模型自动对话”医院的场景,这个场景生成模型初始化的时候,直接报错了,就没有办法常识;

双模型匿名对话场景

写创作相关对话类型

文本输入的是:今天的天气阳光明媚真好哇

生成的内容:

两个里面都生成了一个我不认识的字,感觉这个模型还需要练习一下才行;

第二个问题,开发者如何成为大神,这段话给出的创作内容就差别很大了

知识常识对话类型

知识常识相关的应用,这个加载的效果如何;

显示报错了,但是没有提示报错的原因,这个就比较坑,由于不清楚报错的原因,也不清楚如何来解决这个问题,感觉不太友好;

模型自动对话

医院对话类型

选择模型对话,看一下这个模型的对话效果如何,是否能够达到初始的人工智能 的效果;

选择对话的类型为医院的时候,发现这个加载竟然需要10分钟才能加载好模型,优点夸张了;

先不管这个效果如何吧,这个加载的时间也太长了;终于加载好了,我来尝试一下对话的效果如何,是否可以达到正常的场景对话。

加载完毕之后,两个模型同时显示了Error的标签,并且还不能进行对话的处理了,这个不清楚是咋回事,是本地的电脑配置的问题?还是说服务器的问题?这个初次体验的感受很不好。

游轮对话类型:

上面是两个不同的模型生成的内容,整体感觉还可以吧,但是不能进行深入的交流,也没有相关的违规的提示等等。


单模型对话:

创作协作相关:

image.png

image.png


image.png

image.png

只要问一个问题就会存在加载时间比较长的问题,这个不清楚是算法的问题,还是说个人电脑的配置不行导致的,正常说的话应该给个人的电脑应该没有多大的关系;


最后:

整个的尝试之后,发现目前模型还是有待提高的地方,第一、如果报错的场景,这个是不是有些提示,否则的话注册使用的人也不清楚是怎么造成 的,会造成不想使用的情况;第二、在生成对话的时候,如何来进行纠正模型,这个也比较重要,如果生成的内容有偏差的话,如何来进行纠正,否则的话,这个模型也不会有所改善提高。第三、创作的水平有限,可能还达不到初级的水平,比如说问一些专业的问题,这个模型自动生成的内容,还不能达到一定的标准;是否可以根据那些相关的知识来解答;

相关文章
|
人工智能 测试技术 Java
【中文竞技场】大模型深度体验与测评
简介:本次,我深入体验了中文竞技场中的大语言模型,尝试了写作创作、代码编写和中文游戏三个领域,以下是我详细的评测报告。
350 10
【中文竞技场】大模型深度体验与测评
|
人工智能 自然语言处理 Java
首次体验中文竞技场大模型体验!!!
我将分别从知识常识、中文游戏、NLP专业领域、代码相关、写作创作、人类价值观六大领域测评不同模型的效果,以及一些看法。
|
人工智能 自然语言处理 测试技术
中文大模型体验测评系列(一)
本文主要通过体验中文竞技场大模型,并详细记录体验过程及感受。
99526 84
|
自然语言处理 知识图谱
中文大模型体验评测
中文大模型体验评测
497 42
|
算法 安全 测试技术
中文竞技场大模型体验报告
本次测评的主要目标是评估中文竞技场提供的大模型在写作创作相关、知识常识和代码相关方面的表现。我们进入“中文竞技场”体验了这些模型,并在以下方面进行了测试和评估。
236 30
|
自然语言处理
|
自然语言处理 知识图谱
中文竞技场模型体验
中文竞技场模型体验
365 0
|
自然语言处理
「ModelScope」中文竞技场体验测评报告
体验大语言模型,并产出创作、代码相关、知识常识三个领域的评测报告
128 1

热门文章

最新文章