以下 modelscope中问题怎么解决?

"以下 modelscope中问题怎么解决?

curl -fsSL https://ollama.com/install.sh | sh
modelscope download --model=qwen/Qwen2-7B-Instruct-GGUF --local_dir . qwen2-7b-instruct-q5_k_m.gguf

新建文件,Modelfile
写入文件

FROM /mnt/workspace/qwen2-7b-instruct-q5_k_m.gguf

set the temperature to 1 [higher is more creative, lower is more coherent]

PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20

TEMPLATE """"""{{ if and .First .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}""""""

set the system message

SYSTEM """"""
You are a helpful assistant.
""""""

ollama serve
另开一个terminal
ollama create qwen2_7b_instruct_q5_k_m -f Modelfile
ollama run qwen2_7b_instruct_q5_k_m"

展开
收起
小小爱吃香菜 2024-06-19 08:24:52 81 分享 版权
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理