开发者社区 > ModelScope模型即服务 > 正文

ModelScope中我运行成功了,swift的流方式输出程序,支不支持选择本地的模型呢?

ModelScope中我运行成功了,swift的流方式输出程序,但是这个使用的好像还是网络端部署的模型,支不支持选择本地的模型呢?然后在哪里选择呢?6766925fd1977c90b5e28057403962ba.png场景好像不太相同model_type = ModelType.qwen_7b_chat
template_type = get_default_template_type(model_type)
print(f'template_type: {template_type}') # template_type: qwen

model, tokenizer = get_model_tokenizer(model_type, model_kwargs={'device_map': 'auto'})Swift的这部分代码怎么换成加载本地的模型?

展开
收起
小小鹿鹿鹿 2024-03-03 18:32:12 159 0
2 条回答
写回答
取消 提交回答
  • 单独使用inference_stream 实现。此回答来自钉群魔搭ModelScope开发者联盟群 ①。

    2024-03-05 16:26:13
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    ModelScope中的Swift流式输出程序支持选择本地的模型进行运行

    Swift是专门为大模型设计的流式处理框架,它允许用户在资源有限的环境中也能高效地运行大型模型。在ModelScope中,Swift框架可以帮助用户实现模型的本地部署和运行。具体来说,用户可以通过以下步骤来选择和使用本地模型:

    1. 环境准备:确保你的操作系统和软件环境满足Swift框架的要求。通常情况下,你需要一个稳定的操作系统和适当的依赖库。
    2. 模型部署:将你选择的模型文件放置在本地环境中,确保Swift框架能够访问到模型文件。
    3. 代码配置:在运行Swift程序时,通过配置文件或命令行参数指定模型文件的路径,以便Swift能够加载本地模型。
    4. 流式输出:利用Swift的流式处理能力,可以实现模型的逐步加载和输出,这样可以在不消耗大量内存的情况下运行大模型。
    5. 社区支持:如果在使用过程中遇到困难,可以寻求ModelScope官方咨询群的帮助,或者参考其他用户的经验来解决特定问题。

    综上所述,ModelScope的Swift流式输出程序确实支持本地模型的运行,但具体的操作步骤可能需要根据模型的特性和运行环境进行相应的调整。

    2024-03-03 18:46:07
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
OpenStack Swift 海量小文件优化之路 立即下载
From Java/Android to Swift iOS 立即下载
Swift在Airbnb的应用实践 立即下载