POINTS 1.5:腾讯微信开源的多模态大模型,超越了业界其他的开源视觉语言模型,具备强大的视觉和语言处理能力

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: POINTS 1.5是腾讯微信推出的多模态大模型,基于LLaVA架构,具备强大的视觉和语言处理能力。它在复杂场景的OCR、推理能力、关键信息提取等方面表现出色,是全球10B以下开源模型中的佼佼者。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 模型架构:POINTS 1.5基于LLaVA架构,包含视觉编码器、投影器和大型语言模型。
  2. 主要功能:支持复杂场景OCR、推理、关键信息提取、LaTeX公式提取等。
  3. 技术优势:在全球10B以下开源模型中排名第一,性能超越其他业界领先模型。

正文(附运行示例)

POINTS 1.5 是什么

公众号: 蚝油菜花 - WePOINTS

POINTS 1.5是腾讯微信发布的多模态大模型,是POINTS 1.0的升级版本。该模型继续沿用了POINTS 1.0中的LLaVA架构,由一个视觉编码器、一个投影器和一个大型语言模型组成。POINTS 1.5在效率和性能上都进行了增强,特别是在全球10B以下开源模型的排名中,POINTS 1.5-7B位居榜首,超越了其他业界领先的模型,如Qwen2-VL、InternVL2和MiniCPM-V-2.5等。

POINTS 1.5在复杂场景的OCR、推理能力、关键信息提取、LaTeX公式提取、数学、图片翻译、物体识别等方面有不错的表现。

POINTS 1.5 的主要功能

  • 复杂场景的OCR:能在复杂场景中进行有效的文字识别。
  • 推理能力:具备强大的推理能力,能理解和处理复杂的逻辑问题。
  • 关键信息提取:能从大量数据中提取关键信息,提高信息处理的效率和准确性。
  • LaTeX公式提取:能识别并提取LaTeX格式的数学公式。
  • 数学问题处理:能理解和解决数学问题,在数学领域的应用潜力巨大。
  • 图片翻译:能对图片内容进行翻译,适用在多语言环境下。
  • 物体识别:能识别图片中的物体,应用于图像分析和理解。

POINTS 1.5 的技术原理

  • 视觉编码器(Vision Encoder):负责处理输入的图像数据,提取图像特征。使用深度学习中的卷积神经网络(CNN)来实现,能捕捉图像中的空间层次结构和语义信息。
  • 投影器(Projector):将视觉编码器提取的图像特征映射到一个适合与语言模型交互的特征空间。涉及到特征的降维和转换,确保图像特征和文本特征在同一个空间中有效对齐。
  • 大型语言模型(Large Language Model):处理文本输入,生成语言相关的输出。是一个预训练的Transformer模型,能理解自然语言,生成连贯、有意义的文本响应。

如何运行 POINTS 1.5

以下是一个使用Hugging Face Transformers库运行POINTS 1.5的示例代码:

from transformers import AutoModelForCausalLM, AutoTokenizer
from wepoints.utils.images import Qwen2ImageProcessorForPOINTSV15
import torch
from PIL import Image
import requests
from io import BytesIO

model_path = 'WePOINTS/POINTS-1-5-Qwen-2-5-7B-Chat'
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16, device_map='cuda')
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image_processor = Qwen2ImageProcessorForPOINTSV15.from_pretrained(model_path)

image_url = 'https://github.com/user-attachments/assets/83258e94-5d61-48ef-a87f-80dd9d895524'
response = requests.get(image_url)
image_data = BytesIO(response.content)
pil_image = Image.open(image_data)
pil_image.save('image.jpg')
prompt = 'please describe the image in detail'

content = [
    dict(type='image', image='image.jpg'),
    dict(type='text', text=prompt)
]
messages = [
    {
   
        'role': 'user',
        'content': content
    }
]
generation_config = {
   
    'max_new_tokens': 1024,
    'temperature': 0.0,
    'top_p': 0.0,
    'num_beams': 1,
}
response = model.chat(messages, tokenizer, image_processor, generation_config)
print(response)

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
9月前
|
机器学习/深度学习 小程序 前端开发
微信小程序——实现对话模式(调用大模型图片生成)
微信小程序——实现对话模式(调用大模型图片生成)
471 3
|
小程序 JavaScript 算法
开源轻量级 IM 框架 MobileIMSDK 的微信小程序端已发布!
MobileIMSDK - 微信小程序端是一套基于微信原生 WebSocket 的即时通讯库:
282 0
|
1天前
|
弹性计算 人工智能 应用服务中间件
一键部署开源DeepSeek并集成到企业微信
DeepSeek近期发布了两款先进AI模型V3和R1,分别适用于通用应用和推理任务。由于官方API流量过大,建议通过阿里云的计算巢进行私有化部署,以确保稳定使用。用户无需编写代码即可完成部署,并可通过AppFlow轻松集成到钉钉、企业微信等渠道。具体步骤包括选择适合的机器资源、配置安全组、创建企业微信应用及连接流,最后完成API接收消息配置和测试应用。整个过程简单快捷,帮助用户快速搭建专属AI服务。
一键部署开源DeepSeek并集成到企业微信
|
6月前
|
移动开发 小程序 JavaScript
开源的微信小程序框架
【8月更文挑战第22天】开源的微信小程序框架
290 65
|
9月前
|
机器学习/深度学习 自然语言处理 计算机视觉
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
【4月更文挑战第14天】中山大学和微信团队的研究者提出 SingDiffusion,一种解决扩散模型在处理极端亮度图像时的平均亮度问题的新方法。SingDiffusion 可无缝集成到预训练模型中,无需额外训练,通过处理 t=1 时间步长的采样问题,改善了图像生成的亮度偏差。在 COCO 数据集上的实验显示,相较于现有模型,SingDiffusion 在 FID 和 CLIP 分数上表现更优。
102 7
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
|
移动开发 小程序 JavaScript
微信小程序学习实录5(H5嵌入小程序、map组件、地图调起功能、腾讯百度高德导航页、返回web-view页)
微信小程序学习实录5(H5嵌入小程序、map组件、地图调起功能、腾讯百度高德导航页、返回web-view页)
639 0
|
9月前
|
NoSQL 算法 关系型数据库
Redis系列-16.腾讯经典面试题-如何做一个迷你版的微信抢红包呢?
Redis系列-16.腾讯经典面试题-如何做一个迷你版的微信抢红包呢?
192 0
|
9月前
|
SQL 大数据 HIVE
每天一道大厂SQL题【Day18】腾讯外包(微信相关)真题实战(三)
每天一道大厂SQL题【Day18】腾讯外包(微信相关)真题实战(三)
39 0
|
9月前
|
SQL 大数据 HIVE
每天一道大厂SQL题【Day17】腾讯外包(微信相关)真题实战(二)
每天一道大厂SQL题【Day17】腾讯外包(微信相关)真题实战(二)
49 0
|
9月前
|
SQL 数据采集 分布式计算
每天一道大厂SQL题【Day16】腾讯外包(微信相关)真题实战(一)
每天一道大厂SQL题【Day16】腾讯外包(微信相关)真题实战(一)
72 0

热门文章

最新文章