开发者社区 > ModelScope模型即服务 > 正文

通过langchain如何基于modelscope运行百川13B对话模型?

想通过langchain调用modelscope hub中的百川13B对话模型,有实现示例吗?

展开
收起
gzsgw 2023-08-12 23:03:22 1016 0
2 条回答
写回答
取消 提交回答
  • langchian是一个应用程序的框架,比如通过langchian调用Hugging Face 模型的一个示例如下:
    import torch
    from langchain import PromptTemplate, LLMChain
    from langchain.llms import HuggingFacePipeline
    from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, AutoModelForSeq2SeqLM
    from transformers.generation.utils import GenerationConfig

    model_id = "baichuan-inc/Baichuan-13B-Chat"
    tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=False, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.float16, trust_remote_code=True)

    pipe = pipeline(
    'text-generation',
    model=model,
    tokenizer=tokenizer,
    max_length=10000
    )

    local_llm = HuggingFacePipeline(pipeline=pipe)
    print(local_llm('What is the capital of France? '))

    template = """Question: {question} Answer: Let's think step by step."""
    prompt = PromptTemplate(template=template, input_variables=["question"])

    llm_chain = LLMChain(prompt=prompt, llm=local_llm)
    question = "What is the capital of England?"
    print(llm_chain.run(question))

    我想请教的是可以通过类似的方式运行model scope中的模型吗?

    2023-08-14 09:01:07
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    要基于 ModelScope 运行 LangChaIN 平台上的百川13B对话模型,可以按照以下步骤进行操作:

    安装 ModelScope:首先,确保您已经安装了 ModelScope。您可以从 ModelScope 的官方 GitHub 存储库(https://github.com/IntelLabs/ModelScope ↗)获取安装说明,并按照指南进行安装。

    下载百川13B对话模型:在 LangChaIN 平台上,找到百川13B对话模型的下载链接,并下载模型文件。通常,这将是一个经过训练的模型的权重文件,以及与该模型相关的配置文件。

    准备配置文件:根据您下载的模型,创建一个适当的配置文件。配置文件应包含有关模型的信息,例如模型类型、输入输出格式、权重文件路径等。确保配置文件与您下载的模型和 ModelScope 的兼容性。

    运行 ModelScope:使用 ModelScope 提供的命令行界面或 API,运行 ModelScope 并指定下载的模型和配置文件的路径。例如,使用命令行界面,可以执行以下命令:

    Copy
    modelscope serve --model= --config=
    ```

    在命令中,将 <path_to_model> 替换为您下载的模型文件的路径,将 <path_to_config_file> 替换为您创建的配置文件的路径。

    使用百川13B对话模型:一旦 ModelScope 成功启动并加载了模型,您可以使用 LangChaIN 平台的 API 或其他适当的方式与模型进行交互。具体的使用方法将取决于您使用的平台和交互方式。

    请注意,上述步骤提供了一个基本的指导,具体的实施可能会因您的环境和使用情况而有所不同。建议参考 ModelScope 的文档和示例,以获得更具体的指导和步骤。

    2023-08-13 09:13:43
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
消电行业数据中台解决方案白皮书 立即下载
(终极版)2020阿里云金融数据中台报告 立即下载
2020年中国乳制品行业数据中台研究报告 立即下载