测试CLIP zero-shot learning
1. 什么是CLIP
CLIP是OpenAI在Learning Transferable Visual Models From Natural Language Supervision提出的多模态的预训练模型，CLIP利用文本和图像的配对数据，基于对比学习的方式训练的预训练模型，对于方便迁移到下游任务，如图像分类识别，精细图像分类，OCR，动作识别和地理信息定位等等。
以往的视觉模型，都是基于一定场景下监督训练的出来的，这种受限制的监督形式限制了它们的通用性和可用性，如增加一个类别，就要重新收集数据，重新迭代模型。虽然有few-shot learning或者zero-shot learning，但是性能远不如监督学习的模型。
CLIP（Contrastive Language-Image Pre-training）用文本的监督方式，在4亿数据集上可以有效的迁移到新的任务。
CLIP分别对文本和图像训练两个Encode模型，并用相似度度量的方式进行监督。可以构造（image， text）的配对方式，通过计算相似度来判断配对是否相关。
2. CLIP图像分类识别测试
CLIP可以用来做什么？我们用来做下图像分类的测试：
import torch
import clip
from PIL import Image
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("./ViT-B-32.pt", device=device)
image = preprocess(Image.open("./images/R-C.jpg")).unsqueeze(0).to(device)
text = clip.tokenize(["a sexy photo", "a porn photo", "a normal photo"]).to(device)
with torch.no_grad():
image_features = model.encode_image(image)
text_features = model.encode_text(text)
logits_per_image, logits_per_text = model(image, text)
probs = logits_per_image.softmax(dim=-1).cpu().numpy()
print("Label probs:", probs)
# Label probs: [[0.9614 0.02727 0.01154]]
CLIP本质上是建立文本和图像的相关性，对文本和图像进行编码。从代码可知，CLIP用在图像分类上：
- 图像分类的类别构建text，并用clip进行编码
- 对图像进行编码
- 计算图像和类别的编码的相似性
- 取相似性最大的类别
CLIP论文给出许多构建类别的文本的text，如"a photo of 《label》"
CLIP是不是可以做一个万物识别的分类模型？
3. CLIP的其他用途
CLIP建立了text和image的关系，那么CLIP可以应用的场景：
- 给图生成一个文本说明
- 以文本搜图
- 以文本生成图片，这个就是现在很多的AIGC（如DALE-2，Stable Diffusion），是在CLIP基础上加上扩散模型来生成图像
最近对CLIP优化的总结：
Democratizing Contrastive Language-Image Pre-training: A CLIP Benchmark of Data, Model, and Supervision
