C-MTEB评估qwen模型

本人将
qwen3_embedding_0.6B
qwen3_embedding_4B
qwen3_reranker_0.6B
qwen3_reranker_4B
四个模型以及
bce_reranker_base_v1
bce_embedding_base_v1
两个模型用C-MTEB中的30个数据集进行评估,为什么会出现
(1)rerank模型在c_mteb中的reranking任务的得分比embedding模型在c_mteb中的reranking任务的低得多
(2)qwen的得分比官方给的差10+
(尽管我只计算MTEB中6类task最重要的指标得分)
后面又进行了acge_text_embedding的评估,发现和官方给出的数据相差并不大
有无大佬指点一手
(模型、数据集全下载到了本地)

展开
收起
游客qv34insecrx5c 2025-08-04 13:47:37 48 分享 版权
0 条回答
写回答
取消 提交回答

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理