本人将
qwen3_embedding_0.6B
qwen3_embedding_4B
qwen3_reranker_0.6B
qwen3_reranker_4B
四个模型以及
bce_reranker_base_v1
bce_embedding_base_v1
两个模型用C-MTEB中的30个数据集进行评估,为什么会出现
(1)rerank模型在c_mteb中的reranking任务的得分比embedding模型在c_mteb中的reranking任务的低得多
(2)qwen的得分比官方给的差10+
(尽管我只计算MTEB中6类task最重要的指标得分)
后面又进行了acge_text_embedding的评估,发现和官方给出的数据相差并不大
有无大佬指点一手
(模型、数据集全下载到了本地)