中文语言能力评测基准「智源指数」

智源指数简介

http://cuge.baai.ac.cn/#/

智源指数是指中文语言理解和生成评测基准，智源指数包含高质量中文自然语言处理数据集、排行榜与在线评测平台，旨在构建全面系统的中文机器语言能力评测体系，形成多层次维度的评测方案，力求更加科学、规范、高质量地推进中文自然语言处理技术的标准评测。

排行榜

智源指数排行榜提供多层次维度的评测方案，提供数据集、任务、能力得分，以及智源指数总体得分。智源指数根据标准基线模型（mT5-small）的得分，对参与评测模型的得分进行归一化（括号中显示），最大程度消除不同数据集和评测指标的差异。

主要任务包括：

• 语言理解-词句级：中文分词、中文分词和词性标注、古诗文标记、命名实体识别、实体关系抽取
• 语言理解-篇章级：幽默检测、故事情节完形填空、阅读理解
• 信息获取及问答：反向词典、开放域问答、文档检索
• 语言生成：摘要生成、数据到文本生成
• 对话交互：知识驱动的对话生成
• 多语言：机器翻译、跨语言摘要
• 数学推理：数值计算

如何参与智源指数评测？

在智源指数框架介绍页面一键下载所有数据集，或在数据下载页面下载某个特定数据集；

生成测试集的预测结果文件。预测结果文件格式见对应数据集的readme文件；

将预测结果文件按照相应数据集的readme文件中所要求的正确提交文件名命名，压缩成zip格式。登录个人账号后即可在参与评测页面提交。