在离线部署ModelScope Agent时,是否支持配置使其用本地的模型API接口?
离线化部署ModelScope Agent并使用本地模型api接口是可行的。首先,你需要在modelscope社区创建一个自己的空间,例如命名为LocalAgent。然后,将此空间克隆到本地环境或云服务器,如魔搭Notebook。
接下来,安装必要的依赖项,你可以运行pip install -r requirements.txt
命令来安装所需的库文件。注意,本地目录里的requirement.txt依赖可能会缺少一些内容,这通常是因为源自apps/agentfabric的部分没有被包含在内,所以需要将从modelscope-agent的requirement.txt文件中的内容复制过来。
为了调用本地模型api接口,你可以在modelscope_agent/tools目录下新建一个py文件,以艺术字生成api为例,比如命名为wordart_tool.py。然后编辑这个新创建的文件,根据你本地模型api接口的实际情况进行配置。
模型可以在本地跑,离线没使用过,您试下https://github.com/modelscope/modelscope-agent/blob/master/demo/demo_qwen_agent.ipynb 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”