LangChain开发环境准备-实现私有大模型OpenAI标准接口封装

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 今天这节课我就将带领小伙伴们将这未完成的一步补全,实现私有大模型OpenAI标准接口封装,并完成LangChain对大模型的调用与测试

上节课,我带领小伙伴们完成了baichuan2量化模型的本地部署和基本用例测试。没有看过的小伙伴可以点击链接查看,AI大模型私有部署的技术指南

但是仅仅完成模型的部署和启动离通过LangChain来调用模型还差一步。今天这节课我就将带领小伙伴们将这未完成的一步补全,实现私有大模型OpenAI标准接口封装,并完成LangChain对大模型的调用与测试。本次课程提纲如下,今天主要讲适配提供通用OpenAI-API接口的部分

适配提供通用OpenAI-API接口

要让LangChain能够调用我们部署在本地或者私有网络中的AI大模型,我们需要提供一个符合OpenAI-API标准的接口,这样LangChain就可以通过统一的方式来访问我们的模型。为了方便我们实现这个接口,我们可以使用一个开源的项目:api-for-open-llm,它是一个基于FastAPI和transformers的项目,可以快速地将任何基于transformers的语言模型封装成一个OpenAI-API风格的接口。

拉取api-for-open-llm代码并安装项目依赖

要使用api-for-open-llm项目,我们首先需要将它的代码拉取到我们的开发环境中,并安装它的项目依赖。我们可以通过以下步骤来操作:

  1. 在开发环境中打开一个终端窗口,并执行以下命令:
git clone https://github.com/xusenlinzy/api-for-open-llm.git
cd api-for-open-llm
pip install -r requirements.txt

这样就完成了api-for-open-llm项目的代码拉取和依赖安装。

配置模型启动配置项

拉取并安装好api-for-open-llm项目后,我们还需要对它进行一些配置,以便于它能够正确地加载我们的baichuan2量化模型,并提供相应的接口。我们可以通过以下步骤来配置:

  1. 在api-for-open-llm项目中创建.env文件,并配置以下内容:
# 启动端口
PORT=8000
# model 命名
MODEL_NAME=baichuan2-13b-chat
# 将MODEL_PATH改为我们的baichuan2量化模型所在的文件夹路径
MODEL_PATH=/content/baichuan-inc/Baichuan2-13B-Chat-4bits
# device related
# GPU设备并行化策略
DEVICE_MAP=auto
# GPU数量
NUM_GPUs=1
# 开启半精度,可以加快运行速度、减少GPU占用
DTYPE=half
# api related
# API前缀
API_PREFIX=/v1
# API_KEY,此处随意填一个字符串即可
OPENAI_API_KEY=

这样就完成了api-for-open-llm项目的配置。

测试Langchain使用到的核心接口

配置好api-for-open-llm项目后,我们就可以启动它,并测试它提供的接口是否符合Langchain使用到的核心接口。我们可以通过以下步骤来测试:

  1. 在终端窗口中执行以下命令:
cp api-for-open-llm/api/server.py api-for-open-llm/
python api-for-open-llm/server.py > server.log 2>&1 &

这样就启动了api-for-open-llm项目,监听在8000端口。

  1. 接口测试,我们可以通过接口调用工具测试以下几个接口来验证项目的部署情况,请求前需要在请求header中配置Authorization参数,配置内容为Bearer {{YOUR_API_KEY}}
  • /v1/models: 查询模型信息,执行结果如下

  • /v1/completions: 文字接龙,执行结果如下

测试LangChain的quickstart

测试好api-for-open-llm项目提供的核心接口后,我们就可以使用LangChain来调用我们部署在本地或者私有网络中的AI大模型了。以LangChain的quickstart为例,步骤如下:

  1. 首先安装Langchain包
# 安装Langchain包
pip install langchain
# Use OpenAI's model APIs
pip install openai
  1. 执行以下代码
from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage
# 修改为你自己配置的OPENAI_API_KEY
api_key = ""
# 修改为你启动api-for-open-llm项目所在的服务地址和端口
api_url = "https://localhost:8000/v1"
modal= "baichuan2-13b-chat"
llm = OpenAI(model_name=modal,openai_api_key=api_key,openai_api_base=api_url)
chat_model = ChatOpenAI(model_name=modal,openai_api_key=api_key,openai_api_base=api_url)
text = "What would be a good company name for a company that makes colorful socks?"
messages = [HumanMessage(content=text)]
#LLMs: this is a language model which takes a string as input and returns a string
print("llm运行结果如下:")
print(llm.predict_messages(messages))
#ChatModels: this is a language model which takes a list of messages as input and returns a message
print("ChatModels运行结果如下:")
print(chat_model.predict_messages(messages))

这样就完成了LangChain对我们部署在本地或者私有网络中的AI大模型的调用与测试。运行结果如下图所示。

部署方案

在本地或者私有网络中部署AI大模型并使用LangChain调用它是一种方便和安全的方式,但是它也有一些局限性,例如需要占用本地或者私有网络中的计算资源和存储空间,以及需要保持网络连接的稳定性。因此,如果我们想要更灵活和高效地部署和使用AI大模型,我们可以考虑以下两种部署方案:

使用ModelScope魔搭部署,ngork代理

魔搭是阿里发布的基于阿里云端资源的AI开发平台,它提供了专业的AI硬件和软件资源,以及丰富的AI应用和服务。新用户注册赠送36小时的GPU使用时长,可以白嫖用来进行大模型部署测试。

我们可以利用魔搭来部署我们的AI大模型,并通过ngork代理来将其暴露给外部网络。这样我们就可以享受魔塔提供的高性能和高质量的AI环境,以及提高网络连接的可靠性。我们可以通过以下步骤来实现这种部署方案:

  1. 在浏览器中打开魔搭网站(https://www.modelscope.cn/my/mynotebook/preset),并注册一个账号(使用阿里云账号亦可)。
  2. 点击我的Notebook菜单,启动GPU示例并创建一个新的笔记本。

  1. 按上节课教授的内容下载模型(魔搭内置模型下载缓存加速可通过下图代码快速下载模型),并按这节课的内容启动Open-API接口

  1. 注册ngork,并获取ngork访问token后配置服务代理,生成ngork访问地址

这样就完成了在魔搭中部署AI大模型并通过ngork代理访问它的过程。我们可以使用之前输出的URL来测试我们的模型,或者在LangChain中添加一个新的模型,并使用该URL作为模型地址。魔搭的notebook可以通过文件直接导入,通过如下链接获取导入文件:

使用colab部署,ngork代理

具备网络访问条件的可以考虑使用google的colab部署,它提供了免费的GPU和TPU资源,以及丰富的Python库和工具。我们可以利用colab来部署我们的AI大模型,并通过ngork代理来将其暴露给外部网络。这样我们就可以节省本地或者私有网络中的计算资源和存储空间,以及提高网络连接的可靠性。我们可以通过以下步骤来实现这种部署方案:

  1. 在浏览器中打开colab网站(https://colab.research.google.com/),并登录一个Google账号。
  2. 在colab网站中,点击File菜单下的New notebook选项,创建一个新的笔记本。
  3. 按上节课的内容下载模型,并按这节课的内容启动Open-API接口

4. 注册ngork,并获取ngork访问token后配置服务代理,生成ngork访问地址

这样就完成了在colab中部署AI大模型并通过ngork代理访问它的过程。我们可以使用之前输出的URL来测试我们的模型,或者在LangChain中添加一个新的模型,并使用该URL作为模型地址。colab的notebook可以通过文件直接导入,通过如下链接获取导入文件:

总结

本文介绍了如何在LangChain开发环境中准备AI大模型私有部署的技术指南,以baichuan2量化模型为例,分别介绍了适配提供通用OpenAI-API接口、测试LangChain的quickstart和部署方案的步骤和代码。通过本文的指导,读者可以在LangChain开发环境中轻松地部署和使用AI大模型,享受AI大模型带来的强大能力和价值。

下一节课我们将正式进入LangChain-AI应用开发的课程,我将给大家讲解LangChain应用架构中6大基础核心组件,请大家持续关注。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
4月前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
438 2
|
2月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
16天前
|
机器学习/深度学习 人工智能 算法
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
OpenAI o3-mini是OpenAI推出的全新推理模型,专为科学、数学和编程等技术领域优化,支持三种推理强度,灵活调整性能。
155 25
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
DeepSeek R1-Zero 是一款基于纯强化学习的开源推理模型,无需监督微调数据,支持多任务泛化与自我进化,适用于数学推理、代码生成等场景。
495 21
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
|
1月前
|
机器学习/深度学习 人工智能 安全
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
GLM-Zero 是智谱AI推出的深度推理模型,专注于提升数理逻辑、代码编写和复杂问题解决能力,支持多模态输入与完整推理过程输出。
226 24
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
|
11天前
|
存储 人工智能 JSON
Open-Deep-Research:开源复现版 Deep Research,支持切换多种大模型,不再依赖 OpenAI o3
Open Deep Research 是一个开源的 AI 智能体,支持多种语言模型,具备实时数据提取、多源数据整合和AI推理功能。
217 16
|
2月前
|
人工智能 安全 机器人
OpenAI重拾规则系统,用AI版机器人定律守护大模型安全
在人工智能领域,大语言模型(LLM)展现出强大的语言理解和生成能力,但也带来了安全性和可靠性挑战。OpenAI研究人员提出“规则基于奖励(RBR)”方法,通过明确规则引导LLM行为,确保其符合人类价值观和道德准则。实验显示,RBR方法在安全性与有用性之间取得了良好平衡,F1分数达97.1。然而,规则制定和维护复杂,且难以完全捕捉语言的多样性。论文:https://arxiv.org/pdf/2411.01111。
120 13
|
2月前
|
人工智能 自然语言处理 机器人
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
|
2月前
|
人工智能 自然语言处理 计算机视觉
OpenAI发布sCM提升50倍效率,扩散模型重大技术突破!
OpenAI近期发布了Simplified Consistency Models (sCM) 技术,这是在扩散模型基础上的重大改进,实现了50倍效率提升。sCM通过简化和稳定连续时间一致性模型的训练过程,解决了传统模型中的离散化误差和训练不稳定性问题,显著提升了生成模型的性能和效率。在多个数据集上的测试结果表明,sCM不仅超越了现有模型,还在生成模型的实际应用中展现了巨大潜力。论文地址:https://arxiv.org/abs/2410.11081
65 3
|
3月前
|
人工智能 计算机视觉 网络架构
OpenAI攻克扩散模型短板,清华校友路橙、宋飏合作最新论文
扩散模型在生成AI领域取得显著成果,但其训练不稳定性和采样速度慢限制了发展。OpenAI与清华校友合作,提出连续时间一致性模型(CMs),通过TrigFlow等创新解决了这些问题,大幅提升了训练稳定性和计算效率,实现了与最优模型相当的样本质量,同时减少了计算资源消耗。
76 2

热门文章

最新文章