开发者社区> 问答> 正文

如何引用qwen2-72b-instruct这个模型的API?

如何引用qwen2-72b-instruct这个模型的API?

展开
收起
中意521 2024-08-15 13:21:56 146 0
1 条回答
写回答
取消 提交回答
  • 要引用qwen2-72b-instruct模型的API,您可以按照以下步骤操作:

    1. 选择调用方式
      • 使用大模型服务平台SDK
        • 初始化GenerationMessageManager对象。
        • 设置系统消息(system message)和用户消息(user message)。
        • 构建QwenParam对象,指定模型为qwen-72b-instruct(或实际提供的模型标识符),并添加消息管理器中的消息。
        • 调用相应方法进行模型调用。
      • 通过PAI控制台部署模型后调用HTTP API
        • 在PAI控制台部署Qwen-72B-Instruct模型至EAS推理服务平台。
        • 获取部署的在线服务访问地址(Endpoint)和访问凭证(Token)。
        • 使用HTTP API,遵循OpenAI的API风格,通过Endpoint和Token调用推理服务。
      • 利用PAI Python SDK部署并调用模型
        • 通过PAI Python SDK获取模型并部署推理服务。
        • 获取部署服务的Endpoint和Token。
        • 使用这些凭据通过API调用模型进行推理。
    2. 注意事项
      • 确保您的上下文不超过模型支持的最大token限制,Qwen-Long系列可支持最大10,000,000 tokens的上下文。
      • 对于单文档或多文档对话,推荐使用文件服务上传文档并以fileid形式传递,特别是当文档大小超过1M tokens时。 请根据您的具体需求和技术栈选择合适的调用方式,并遵循相应的使用说明进行操作。

    参考链接:https://help.aliyun.com/zh/pai/user-guide/deploy-fine-tune-and-evaluate-a-qwen2-model?

    2024-08-15 14:46:12
    赞同 8 展开评论 打赏
问答分类:
API
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Spring Boot2.0实战Redis分布式缓存 立即下载
CUDA MATH API 立即下载
API PLAYBOOK 立即下载