在开始之前，我们需要先准备一个可以调用 OpenAPI 的 key，又或者是其他 LLM 的 key。
因为墙的原因，所以没有办法直接使用 OpenAI 的 key 来调用，但是我们可以使用一些替代品或者代理，可选的有：
- 零一万物：使用的是它自身提供的 LLM，https://platform.lingyiwanwu.com/docs
- OpenAI HK：可以使用 OpenAI 的 LLM，https://openai-hk.com/
- 智谱清言：使用的是它自身提供的 LLM，https://open.bigmodel.cn/
依赖
我们可以使用 openai 的 SDK 来调用它们的接口，同时也可以使用 langchain 这个库来调用它们的接口。
不过本系列文章都会基于 langchain 来进行实现。langchain 是一个基于 OpenAPI 的封装，可以方便的调用 OpenAPI 的接口。
同时很多国内的大模型也支持通过 langchain 的 API 来使用，非常方便。
通过 OpenAI SDK 使用
目前市面上大多数的 LLM 都支持 OpenAI 的接口，所以我们可以通过 OpenAI 的 SDK 来调用这些接口。
需要注意的是：
- 模型：不同的 LLM 有不同的模型，比如零一万物的模型是
yi-large，OpenAI 的模型是gpt-3.5-turbo，智谱清言的模型是glm-4。 base_url：不同的 LLM 有不同的base_url，需要根据不同的 LLM 来设置。api_key：不同的 LLM 有不同的api_key
下面是一个使用 OpenAI SDK 的例子：
依赖安装：
pip install openai
零一万物
from openai import OpenAI client = OpenAI( api_key='your key', base_url='https://api.lingyiwanwu.com/v1' ) completion = client.chat.completions.create( model="yi-large", messages=[{"role": "user", "content": "Hi, who are you?"}] ) print(completion.choices[0].message.content)
OpenAI HK
from openai import OpenAI client = OpenAI( api_key='your key', base_url="https://api.openai-hk.com/v1" ) completion = client.chat.completions.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi, who are you?"}] ) print(completion.choices[0].message.content)
智谱清言
from openai import OpenAI client = OpenAI( api_key='your key', base_url='https://open.bigmodel.cn/api/paas/v4/' ) completion = client.chat.completions.create( model="glm-4", messages=[{"role": "user", "content": "Hi, who are you?"}] ) print(completion.choices[0].message.content)
通过 langchain 使用
依赖安装：
pip install langchain_openai
跟上面的例子差不多，修改一下 base_url 和 model 以及 api_key 即可。
零一万物
from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage chat = ChatOpenAI( model="yi-large", temperature=0.3, max_tokens=200, api_key='your key', base_url="https://api.lingyiwanwu.com/v1" ) messages = [ SystemMessage(content="你是一名精通了 golang 的专家"), HumanMessage(content="写一个 golang 的 hello world 程序"), ] response = chat.invoke(messages) print(response.content)
OpenAI HK
from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage chat = ChatOpenAI( model="gpt-3.5-turbo", temperature=0.3, max_tokens=200, api_key="your key", base_url="https://api.openai-hk.com/v1" ) messages = [ SystemMessage(content="你是一名精通了 golang 的专家"), HumanMessage(content="写一个 golang 的 hello world 程序"), ] response = chat.invoke(messages) print(response.content)
智谱清言
from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage chat = ChatOpenAI( model="glm-4", temperature=0.3, max_tokens=200, api_key="your key", base_url='https://open.bigmodel.cn/api/paas/v4/' ) messages = [ SystemMessage(content="你是一名精通了 golang 的专家"), HumanMessage(content="写一个 golang 的 hello world 程序"), ] response = chat.invoke(messages) print(response.content)
环境变量指定 API KEY 以及 BASE URL
我们可以通过环境变量来指定 api_key 以及 base_url，这样我们就不需要在代码中指定了。
export OPENAI_API_KEY="your key" export OPENAI_BASE_URL="https://api.lingyiwanwu.com/v1"
这样我们就可以直接使用 langchain 来调用了，当然，传递给 ChatOpenAI 的 model 参数还是得指定的。
from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage chat = ChatOpenAI( model="yi-large", temperature=0.3, max_tokens=200 ) messages = [ SystemMessage(content="你是一名精通了 golang 的专家"), HumanMessage(content="写一个 golang 的 hello world 程序"), ] response = chat.invoke(messages) print(response.content)
注意事项
- 截止到目前为止（
2024-07-15），langchain还在一个很频繁的更新阶段，所以可能会有一些 API 的变动，所以本文的一些langchain示例代码可能在未来会不可用。
