"请问一下ModelScope中eval-scope里面的这两个参数是什么意思?mem-cache作用是什么呢?有没有具体的文档?
"
"dry-run模式,模型answer正常生成,但专家模型,如GPT-4,不会被触发,评估结果会随机生成,如需正式评测,请去掉--dry-run参数。
mem-cache已弃用,参考以下文档链接
https://github.com/modelscope/eval-scope/blob/main/llmuses/run.py#L248
您参考以下文档链接,
https://github.com/modelscope/swift/blob/main/docs/source/LLM/LLM%E8%AF%84%E6%B5%8B%E6%96%87%E6%A1%A3.md
eval命令行参数,参考以下链接
https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.md
大模型自动评估理论和实战,参考以下链接
https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/K.%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%87%AA%E5%8A%A8%E8%AF%84%E4%BC%B0%E7%90%86%E8%AE%BA%E5%92%8C%E5%AE%9E%E6%88%98--LLM%20Automatic%20Evaluation.md
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352