AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

C-MTEB评估qwen模型

本人将
qwen3_embedding_0.6B
qwen3_embedding_4B
qwen3_reranker_0.6B
qwen3_reranker_4B
四个模型以及
bce_reranker_base_v1
bce_embedding_base_v1
两个模型用C-MTEB中的30个数据集进行评估，为什么会出现
（1）rerank模型在c_mteb中的reranking任务的得分比embedding模型在c_mteb中的reranking任务的低得多
（2）qwen的得分比官方给的差10+
（尽管我只计算MTEB中6类task最重要的指标得分）
后面又进行了acge_text_embedding的评估，发现和官方给出的数据相差并不大
有无大佬指点一手
（模型、数据集全下载到了本地）

展开
收起
通义千问3家族
游客qv34insecrx5c 2025-08-04 13:47:37 58 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
使用 dashscope-sdk-java 调用qwen3-max-preview模型回答问题，没有
5
0
0
怎么使用vllm部署最新的qwen3的mbedding 和reranker模型呢
706
0
0
百炼平台使用qwen-plus和qwen-max模型超时
337
2
0
请问如何在微软的Autogen 0.4框架下使用Qwen模型实现工具调用？
548
1
0
通义灵码能不能自定义LLM模型？
282
1
0
使用qwen-mt-turbo模型的openapi限流如何解除
251
0
0
qwen模型微调上传数据集时，如何书写数据集的本地路径？
100
0
0
qwen-long模型
114
1
0
vscode集成通义灵码后，使用deepseek模型，会经常遇到连接超时的情况
340
2
0
Unichat - qwen2.5 - 32B - c1 模型已经下载下来 在运行python报错
185
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • Java 大视界 -- Java 大数据机器学习模型在自然语言处理中的对抗训练与鲁棒性提升（205）
  • “日志别再只会翻了，教它自己说话”——聊聊用 NLP 玩转日志分析
  • 《10分钟开发电商页！CodeBuddy自然语言转代码实测：程序员效率革命》
  • Java 大视界 -- Java 大数据机器学习模型在自然语言生成中的可控性研究与应用（229）
  • 从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？

    • 热门讨论

    热门文章

  • modelscope-funasr这是服务端关闭了连接吗？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • modelscope-funasr有说话人分离功能吗？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr有没有开源的语音唤醒，自定义唤醒？
  • modelscope-funasr 热词如何设置？
  • 自然语言处理大模型，对word文本格式检测
  • modelscope-funasr的 hotwords 是什么意思？
  • modelscope-funasr的sensevoice还不支持热词，是吗？
  • gpt3,加载数据时，MsDataset.load报错
    • 展开全部
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • Memobase：开源AI长期记忆系统，让AI真正记住每个用户的秘密武器
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 自然语言生成代码一键搞定！Codex CLI：OpenAI开源终端AI编程助手，代码重构+测试全自动
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
    • 展开全部
    还有其他疑问?
    咨询AI助理