学习如何使用 GPT-4 来理解图像
介绍
具有视觉功能的 GPT-4 Turbo 允许模型接收图像并回答与之相关的问题。在历史上，语言模型系统受限于仅接收单一输入模态，即文本。对于许多用例来说，这限制了像 GPT-4 这样的模型可用的领域。以前，该模型有时被称为 GPT-4V 或 gpt-4-vision-preview 在 API 中。请注意，助手 API 目前不支持图像输入。
快速开始
图像以两种主要方式提供给模型：通过传递图像的链接或直接在请求中传递 base64 编码的图像。图像可以在用户、系统和助手消息中传递。目前我们不支持在第一个系统消息中传递图像，但这可能会在将来发生改变。
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4-turbo",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
}
],
max_tokens=300,
)
print(response.choices[0])该模型最擅长回答关于图像中存在的内容的一般性问题。虽然它理解图像中物体之间的关系，但尚未优化以回答关于图像中某些物体位置的详细问题。例如，您可以询问汽车是什么颜色，或者根据冰箱里的内容询问晚餐的一些想法，但如果您向其展示一个房间的图像并询问椅子在哪里，它可能不会正确回答这个问题。
在探索视觉理解可以应用于哪些用例时，牢记模型的局限性是很重要的。
上传基于 base64 编码的图像
如果您有本地图像或图像集，您可以以 base64 编码格式将其传递给模型，以下是此操作的示例：
import base64
import requests
# OpenAI API Key
api_key = "YOUR_OPENAI_API_KEY"
# Function to encode the image
def encode_image(image_path):
with open(image_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode('utf-8')
# Path to your image
image_path = "path_to_your_image.jpg"
# Getting the base64 string
base64_image = encode_image(image_path)
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {api_key}"
}
payload = {
"model": "gpt-4-turbo",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What’s in this image?"
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/jpeg;base64,{base64_image}"
}
}
]
}
],
"max_tokens": 300
}
response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
print(response.json())多个图像输入
Chat Completions API 能够接收和处理多个图像输入，可以是以 base64 编码格式或作为图像 URL。模型将处理每个图像，并使用所有图像的信息来回答问题。
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4-turbo",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "What are in these images? Is there any difference between them?",
},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
}
],
max_tokens=300,
)
print(response.choices[0])在这里，模型展示了同一图像的两份副本，并可以独立回答关于每张图像或两张图像的问题。
低或高保真度图像理解
通过控制 detail 参数，该参数有三个选项：low、high 或 auto，您可以控制模型如何处理图像并生成其文本理解。默认情况下，模型将使用 auto 设置，它将查看图像输入大小并决定是否应该使用 low 或 high 设置。
- low 将启用“低分辨率”模式。模型将接收到一张分辨率为 512px x 512px 的低分辨率版本的图像，并使用 65 个标记的预算来表示图像。这使得 API 能够更快地返回响应，并在不需要高细节的用例中消耗更少的输入标记。
- high 将启用“高分辨率”模式，首先使模型看到低分辨率图像，然后根据输入图像大小创建详细的 512px 正方形输入图像裁剪。每个详细的裁剪使用两倍的标记预算（65 个标记），总共为 129 个标记。
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4-turbo",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
"detail": "high"
},
},
],
}
],
max_tokens=300,
)
print(response.choices[0].message.content)管理图像
与助手 API 不同，Chat Completions API 不是有状态的。这意味着您必须自行管理传递给模型的消息（包括图像）。如果您想多次将相同的图像传递给模型，则每次向 API 发出请求时都必须传递图像。
对于长时间运行的对话，我们建议通过 URL 而不是 base64 传递图像。模型的延迟也可以通过提前缩小图像的尺寸来改善，使其小于预期的最大尺寸。对于低分辨率模式，我们期望是 512px x 512px 的图像。对于高分辨率模式，图像的短边应小于 768px，长边应小于 2000px。
在图像被模型处理后，它会从 OpenAI 服务器中删除并不保留。我们不使用通过 OpenAI API 上传的数据来训练我们的模型。
限制
虽然具备视觉功能的 GPT-4 功能强大，可以在许多情况下使用，但了解模型的局限性是很重要的。以下是我们所知的一些限制：
- 医学图像：模型不适合解释专业医学图像，如 CT 扫描，不应用于医疗建议。
- 非英文：处理带有非拉丁字母文字的图像时，如日文或韩文，模型可能表现不佳。
- 小字体：增大图像中的文字以提高可读性，但避免裁剪重要细节。
- 旋转：模型可能会错误解释旋转或颠倒的文字或图像。
- 视觉元素：模型可能难以理解图表或文字中颜色或样式（如实线、虚线或点线）变化的情况。
- 空间推理：模型在需要精确空间定位的任务上表现不佳，例如识别国际象棋位置。
- 准确性：在某些情况下，模型可能会生成不正确的描述或标题。
- 图像形状：模型在处理全景和鱼眼图像时表现不佳。
- 元数据和调整大小：模型不处理原始文件名或元数据，图像在分析之前被调整大小，影响其原始尺寸。
- 计数：对图像中的对象可能会给出近似计数。
- CAPTCHA：出于安全考虑，我们已经实施了一个系统来阻止提交 CAPTCHA。
计算成本
图像输入按标记计量和收费，就像文本输入一样。给定图像的标记成本由两个因素确定：其大小和每个 image_url 块上的 detail 选项。所有 detail: low 的图像每个成本 85 个标记。 detail: high 的图像首先按比例缩放以适应 2048 x 2048 的正方形，保持其纵横比。然后，它们按照图像最短边长为 768px 进行缩放。最后，我们计算图像由多少个 512px 的正方形组成。其中每个正方形的成本为 170 个标记。最终总数始终增加了另外的 85 个标记。
以下是一些演示上述内容的示例。
一个 detail: high 模式下的 1024 x 1024 正方形图像成本为 765 个标记
- 1024 小于 2048，因此没有初始调整大小。
- 最短边长为 1024，因此我们将图像缩放到 768 x 768。
- 需要 4 个 512px 的正方形瓦片来表示图像，因此最终标记成本为 170 * 4 + 85 = 765。
一个 detail: high 模式下的 2048 x 4096 图像成本为 1105 个标记
- 我们将图像缩小到 1024 x 2048 以适应 2048 的正方形。
- 最短边长为 1024，因此我们进一步缩小为 768 x 1536。
- 需要 6 个 512px 的瓦片，因此最终标记成本为 170 * 6 + 85 = 1105。
一个 detail: low 模式下的 4096 x 8192 图像成本为 85 个标记
- 无论输入大小如何，低细节图像的成本都是固定的。
常见问题解答
我可以微调 gpt-4 的图像能力吗？
不，我们目前不支持微调 gpt-4 的图像能力。
我可以使用 gpt-4 生成图像吗？
不，您可以使用 dall-e-3 生成图像，而使用 gpt-4-turbo 来理解图像。
我可以上传哪些类型的文件？
我们目前支持 PNG（.png）、JPEG（.jpeg 和 .jpg）、WEBP（.webp）和非动画 GIF（.gif）。
我上传的图像大小有限制吗？
是的，我们限制图像上传为每个图像 20MB。
我可以删除我上传的图像吗？
不，我们会在模型处理完图像后自动为您删除图像。
我在哪里可以了解有关 GPT-4 with Vision 的注意事项？
您可以在 GPT-4 with Vision 系统卡片中找到有关我们的评估、准备和缓解工作的详细信息。
我们进一步实施了一个系统来阻止提交 CAPTCHA。
GPT-4 with Vision 的速率限制是如何工作的？
我们以标记级别处理图像，因此我们处理的每张图像都计入您的每分钟标记数（TPM）限制。有关确定每张图像的标记数的公式的详细信息，请参阅计算成本部分。
GPT-4 with Vision 能理解图像元数据吗？
不，模型不接收图像元数据。
如果我的图像不清晰会发生什么？
如果图像模糊或不清晰，模型会尽力解释它。但结果可能不太准确。一个好的经验法则是，如果一般人无法在低/高分辨率模式下看到图像中的信息，那么模型也无法看到。
