中文竞技场大模型评测

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 中文竞技场大模型评测

中文竞技场大模型评测
https://modelscope.cn/studios/LLMZOO/Chinese-Arena/summary?spm=a2c6h.28340574.J_3422099310.1.56b42fd5af8CfG

阿里云 ModelScope 是一种用于模型评估和性能分析的开源工具。它旨在帮助用户更好地了解和评估不同的机器学习模型,并提供可视化和统计分析来支持决策制定。

写作创造的评测:
2f32e321f2d55be15278c260f252f2cb_r422ivcsdlv2y_f7091eedc6d744a2a96584470aa66ede.png

446ebf754682740cad8a7a8ac2ac9d1b_mua4f2zkzhj7u_10f63696b55242839b3a865bc9a5f0e6.png

image.png

代码相关评测:

1417ce665c045d7f42015876f4f71aa2_2p7obuuhu3qiy_cb444d0b4482406f95132957e980760b.png

image.png

image.png

知识常识评测:

8d30d5ba10484882d1d04ec5c200223d_2p7obuuhu3qiy_eb1721a95a674faf8c79caedd11583c8.png

image.png

image.png

人类价值观评测:

7b4c7654bd0819218eb5d55bffa5ebbc_r422ivcsdlv2y_b04efdd036314af7b28c674276e3fc08.png

image.png

image.png

NLP 专业领域评测:

fdf7410e002ea5f83989f7e1f79915f1_3fluixxvwsbvg_fe8cb9600e7d4f7c97fa99b400b501e0.png

fb8b207142f1e7e43bea43d53ae057b1_gxq7yhus4vkmc_0b40d72013c04568970588d73ce99265.png

image.png

测评总结:

Modelscope 支持常见的 NLP 任务,提供了多种模型和数据集来进行性能测评。开发者可以使用 Modelscope 在文本分类、命名实体识别等任务上评估不同模型的性能,从而选择最适合的模型。

Modelscope 的文档覆盖了 NLP 领域的重要概念和技术。它提供了详细的解释和示例,帮助开发者深入理解和应用这些概念和技术,使其能够更好地进行模型性能测评。

Modelscope 支持迁移学习和领域自适应。开发者可以利用 Modelscope 来评估模型在不同领域中的性能和适应性。这有助于开发者了解模型的泛化能力,并根据需求选择适合特定领域的模型。

个人使用总结:

整体看一下,使用效果还是不错,但是生成太慢了,一直在转圈;同时,得出的结果也是差强人意,还有很多需要继续完善的地方。

目录
相关文章
|
数据采集 机器学习/深度学习 人工智能
中文竞技场大模型测评-龙虎榜
本次测评选取写作创作相关、代码相关、知识常识、中文游戏、人类价值观、NLP专业领域6大场景和20个细分维度,分别对通义Qwen-Chat-7B、凤凰Phoenix-7B、ChatGLM2-6B、moss-moon-003-sft等大模型进行了超过 200+ 道题的评测。测评旨在为大家提供有关这些模型在不同领域和维度上的表现,更好地选择适合自己需求的模型和应用,期待这次测评能够为AI模型领域的学习和研究提供有价值的参考和指导。
69961 5
|
2月前
|
自然语言处理 C语言 Python
中文竞技场大模型评测
介绍“中文竞技场”,一个体验大型中文语言模型的平台。点击进入后,遵循规则输入问题,两个模型将生成回复供对比。避免简单问候,可进行多轮对话,涉及写作、代码、知识、游戏、价值观及NLP等领域。评测示例包括诸葛亮空城计描述、C语言冒泡排序及人生意义探讨等,展示不同模型的风格与优劣。
73 7
|
自然语言处理 知识图谱
中文大模型体验评测
中文大模型体验评测
494 42
|
自然语言处理 Python
中文大模型评测
中文大模型评测
794 3
|
自然语言处理
|
自然语言处理 Java iOS开发
中文竞技场大模型评测
中文竞技场大模型评测
367 0
|
弹性计算 运维 Serverless
中文竞技场大模型测评
以自身生活经验,测评中文大模型,感受大模型的魅力,为中文大模型的发展贡献一份绵薄之力
1228 2
中文竞技场大模型测评
中文大模型竞技评测
进行了写作创作、人类价值观、中文游戏3个主题的模型匿名问答测试。
中文大模型竞技评测
对中文竞技场模型的测评
了解并学习了MS大模型,接下来发表一些我的看法。
820 1
对中文竞技场模型的测评