请问ModelScope的OpenBuddy-LLaMA2-70B模型微调后,在推理这部分我怎么指定给他输入需要问的问题进行推理呢? 我试了一下OpenBuddy-LLaMA2-70B模型微调后使用单样本推理,但是爆显存了,显卡配置是3090 24G,请问有什么办法能在这个配置上跑动推理嘛? 还有这部分微调我是使用了自定义数据集进行微调的,这个也会影响我这边单样本推理嘛?
单样本推理 https://github.com/modelscope/swift/blob/main/docs/source/LLM/LLM%E5%BE%AE%E8%B0%83%E6%96%87%E6%A1%A3.md 要参考LLM推理文档中的量化。另外sft.sh没有model_type,cpu试一下看看会不会报错。麻烦您看一下这个模型openbuddy-llama2-70b-chat, swift 微调之后单样本推理时报错 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”