POINTS 1.5:腾讯微信开源的多模态大模型,超越了业界其他的开源视觉语言模型,具备强大的视觉和语言处理能力

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: POINTS 1.5是腾讯微信推出的多模态大模型,基于LLaVA架构,具备强大的视觉和语言处理能力。它在复杂场景的OCR、推理能力、关键信息提取等方面表现出色,是全球10B以下开源模型中的佼佼者。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 模型架构:POINTS 1.5基于LLaVA架构,包含视觉编码器、投影器和大型语言模型。
  2. 主要功能:支持复杂场景OCR、推理、关键信息提取、LaTeX公式提取等。
  3. 技术优势:在全球10B以下开源模型中排名第一,性能超越其他业界领先模型。

正文(附运行示例)

POINTS 1.5 是什么

公众号: 蚝油菜花 - WePOINTS

POINTS 1.5是腾讯微信发布的多模态大模型,是POINTS 1.0的升级版本。该模型继续沿用了POINTS 1.0中的LLaVA架构,由一个视觉编码器、一个投影器和一个大型语言模型组成。POINTS 1.5在效率和性能上都进行了增强,特别是在全球10B以下开源模型的排名中,POINTS 1.5-7B位居榜首,超越了其他业界领先的模型,如Qwen2-VL、InternVL2和MiniCPM-V-2.5等。

POINTS 1.5在复杂场景的OCR、推理能力、关键信息提取、LaTeX公式提取、数学、图片翻译、物体识别等方面有不错的表现。

POINTS 1.5 的主要功能

  • 复杂场景的OCR:能在复杂场景中进行有效的文字识别。
  • 推理能力:具备强大的推理能力,能理解和处理复杂的逻辑问题。
  • 关键信息提取:能从大量数据中提取关键信息,提高信息处理的效率和准确性。
  • LaTeX公式提取:能识别并提取LaTeX格式的数学公式。
  • 数学问题处理:能理解和解决数学问题,在数学领域的应用潜力巨大。
  • 图片翻译:能对图片内容进行翻译,适用在多语言环境下。
  • 物体识别:能识别图片中的物体,应用于图像分析和理解。

POINTS 1.5 的技术原理

  • 视觉编码器(Vision Encoder):负责处理输入的图像数据,提取图像特征。使用深度学习中的卷积神经网络(CNN)来实现,能捕捉图像中的空间层次结构和语义信息。
  • 投影器(Projector):将视觉编码器提取的图像特征映射到一个适合与语言模型交互的特征空间。涉及到特征的降维和转换,确保图像特征和文本特征在同一个空间中有效对齐。
  • 大型语言模型(Large Language Model):处理文本输入,生成语言相关的输出。是一个预训练的Transformer模型,能理解自然语言,生成连贯、有意义的文本响应。

如何运行 POINTS 1.5

以下是一个使用Hugging Face Transformers库运行POINTS 1.5的示例代码:

from transformers import AutoModelForCausalLM, AutoTokenizer
from wepoints.utils.images import Qwen2ImageProcessorForPOINTSV15
import torch
from PIL import Image
import requests
from io import BytesIO

model_path = 'WePOINTS/POINTS-1-5-Qwen-2-5-7B-Chat'
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16, device_map='cuda')
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image_processor = Qwen2ImageProcessorForPOINTSV15.from_pretrained(model_path)

image_url = 'https://github.com/user-attachments/assets/83258e94-5d61-48ef-a87f-80dd9d895524'
response = requests.get(image_url)
image_data = BytesIO(response.content)
pil_image = Image.open(image_data)
pil_image.save('image.jpg')
prompt = 'please describe the image in detail'

content = [
    dict(type='image', image='image.jpg'),
    dict(type='text', text=prompt)
]
messages = [
    {
   
        'role': 'user',
        'content': content
    }
]
generation_config = {
   
    'max_new_tokens': 1024,
    'temperature': 0.0,
    'top_p': 0.0,
    'num_beams': 1,
}
response = model.chat(messages, tokenizer, image_processor, generation_config)
print(response)
AI 代码解读

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
59
58
3
225
分享
相关文章
微信小程序——实现对话模式(调用大模型图片生成)
微信小程序——实现对话模式(调用大模型图片生成)
447 3
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
【4月更文挑战第14天】中山大学和微信团队的研究者提出 SingDiffusion,一种解决扩散模型在处理极端亮度图像时的平均亮度问题的新方法。SingDiffusion 可无缝集成到预训练模型中,无需额外训练,通过处理 t=1 时间步长的采样问题,改善了图像生成的亮度偏差。在 COCO 数据集上的实验显示,相较于现有模型,SingDiffusion 在 FID 和 CLIP 分数上表现更优。
97 7
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
微信小程序学习实录5(H5嵌入小程序、map组件、地图调起功能、腾讯百度高德导航页、返回web-view页)
微信小程序学习实录5(H5嵌入小程序、map组件、地图调起功能、腾讯百度高德导航页、返回web-view页)
629 0
Redis系列-16.腾讯经典面试题-如何做一个迷你版的微信抢红包呢?
Redis系列-16.腾讯经典面试题-如何做一个迷你版的微信抢红包呢?
170 0
|
8月前
|
每天一道大厂SQL题【Day18】腾讯外包(微信相关)真题实战(三)
每天一道大厂SQL题【Day18】腾讯外包(微信相关)真题实战(三)
38 0
|
8月前
|
每天一道大厂SQL题【Day17】腾讯外包(微信相关)真题实战(二)
每天一道大厂SQL题【Day17】腾讯外包(微信相关)真题实战(二)
48 0
每天一道大厂SQL题【Day16】腾讯外包(微信相关)真题实战(一)
每天一道大厂SQL题【Day16】腾讯外包(微信相关)真题实战(一)
70 0
支付宝微信小程序连接蓝牙兼容IOS和安卓(开源)
支付宝微信小程序连接蓝牙兼容IOS和安卓(开源)
251 0
开源即时通讯IM框架MobileIMSDK的微信小程序端开发快速入门
开源即时通讯IM框架MobileIMSDK的微信小程序端开发快速入门
345 1
开源即时通讯IM框架MobileIMSDK的微信小程序端开发快速入门

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等