AI 助理
备案控制台
开发者社区 云计算 文章 正文

基于VisualGLM-6B大模型的本地部署与推理

2024-12-12 54
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文是基于清华开源的VisualGLM-6B 支持图像中英文的多模态对话语言模型，进行了一系列本地的简单部署，包括环境配置、模型部署、演示推理、模型微调（官方提供的代码），由于个人电脑显存不足，最后是在阿里云服务器交互式平台DSW终端进行微调和训练操作的。

VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案

0.jpg

由于采用轻量化部署推理，显存只占用7.8GB,可进行本地推理。
1.png

visualGLM-6B大语言模型的web界面推理演示：图像分析、按指令输出结果
2.jpg

香港理工大学wangrongsheng同学基于VisualGLM-6B,利用公开数据集微调训练出的XrayGLM,可实现对X光片进行解析和患者建议，本人只是进行的本地推理演示。
3.jpg

GLM_ONE
目录
相关文章
算精通
|
7月前
|
机器学习/深度学习 Java TensorFlow
模型推理脚本
模型推理脚本可以使用各种编程语言编写,如Python、C++、Java等。在机器学习和深度学习领域中,Python是最常用的编程语言之一,因为它有许多流行的深度学习框架,如TensorFlow、PyTorch和Keras,这些框架都提供了简单易用的API来加载模型和进行模型推理。
算精通
155 5
taro_秋刀鱼
|
PyTorch 测试技术 API
Pytorch模型训练与在线部署
本文以CIFAR10数据集为例，通过自定义神经元网络，完成模型的训练，并通过Flask完成模型的在线部署与调用，考略到实际生产模型高并发调用的述求，使用service_streamer提升模型在线并发能力。
taro_秋刀鱼
697 1
tommy_tl
|
7月前
|
机器学习/深度学习 弹性计算 TensorFlow
阿里云GPU加速：大模型训练与推理的全流程指南
随着深度学习和大规模模型的普及，GPU成为训练和推理的关键加速器。本文将详细介绍如何利用阿里云GPU产品完成大模型的训练与推理。我们将使用Elastic GPU、阿里云深度学习镜像、ECS（云服务器）等阿里云产品，通过代码示例和详细说明，带你一步步完成整个流程。
tommy_tl
2344 0
阿里云大数据Al技术
|
7月前
|
人工智能 算法 开发工具
Mixtral 8X7B MoE模型在阿里云PAI平台的微调部署实践
Mixtral 8x7B 是Mixtral AI最新发布的大语言模型，是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI，提供了对于 Mixtral 8x7B 模型的全面支持，开发者和企业用户可以基于 PAI-快速开始轻松完成Mixtral 8x7B 模型的微调和部署。
阿里云大数据Al技术
134583 5
Deephub
|
机器学习/深度学习 人工智能 API
使用TensorRT-LLM进行高性能推理
LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库，它号称可以增加4倍的推理速度。
Deephub
540 0
ZOMI酱
|
15天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术，涵盖动态和静态量化方法，旨在将模型权重和激活从浮点数转换为整数，以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制，文章探讨了如何平衡模型精度与性能，同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
ZOMI酱
41 1
【AI系统】训练后量化与部署
阿里云云原生
|
7月前
|
机器学习/深度学习 人工智能 Cloud Native
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
阿里云云原生
101749 2
ModelScope运营小助手
|
7月前
|
物联网 Shell Swift
NPU推理&微调大模型实战
本文为魔搭社区轻量级训练推理工具SWIFT微调实战教程系列
ModelScope运营小助手
2033 5
LDG_AGI
|
4月前
|
机器学习/深度学习 人工智能 关系型数据库
【机器学习】Qwen2大模型原理、训练及推理部署实战
【机器学习】Qwen2大模型原理、训练及推理部署实战
LDG_AGI
765 0
【机器学习】Qwen2大模型原理、训练及推理部署实战
1941623231718325
|
5月前
|
机器学习/深度学习 数据采集 PyTorch
PyTorch模型训练与部署流程详解
【7月更文挑战第14天】PyTorch以其灵活性和易用性在模型训练与部署中展现出强大的优势。通过遵循上述流程，我们可以有效地完成模型的构建、训练和部署工作，并将深度学习技术应用于各种实际场景中。随着技术的不断进步和应用的深入，我们相信PyTorch将在未来的机器学习和深度学习领域发挥更加重要的作用。
1941623231718325
121 1

热门文章

最新文章

  • 1
    四大触点，教你从“用户视角”构建数据分析体系
  • 2
    Spring-boot+Dubbo应用启停源码分析
  • 3
    《Stata统计分析与应用（第2版）》一3.4 图形的保存、合并及修改
  • 4
    RocketMq-Request-Reply消息
  • 5
    Confluence 6 手动添加用户
  • 6
    2013年4月20日 通用权限管理系统组件V3.8功能改进说明
  • 7
    Configuring EIGRP Unequal-Cost Paths
  • 8
    PowerShell 指定关键词遍历文件内容
  • 9
    Windows时间服务出现故障 向用户发送错误的时间
  • 10
    三种dedecms调用相关文章的方法
  • 1
    《鸿蒙HarmonyOS应用开发从入门到精通（第2版）》简介
    51
  • 2
    《Python 助力：人工智能模型的“瘦身”与“加速”之旅》
    110
  • 3
    《非计算机专业者：Python 开启人工智能职业新航道》
    39
  • 4
    《Python赋能：智绘智慧城市新蓝图》
    42
  • 5
    《智育新篇：点亮学生人工智能伦理与社会责任之光》
    47
  • 6
    《数据主权：人工智能时代的核心基石与挑战》
    33
  • 7
    鸿蒙HarmonyOS应用开发 | 探索 HarmonyOS Next-从开发到实战掌握 HarmonyOS Next 的分布式能力
    109
  • 8
    鸿蒙原生开发环境的创新与性能优化：从工具到跨平台支持的全方位提升
    268
  • 9
    鸿蒙HarmonyOS应用开发 | 「鸿蒙技术分享」HarmonyOS NEXT元服务卡片实战体验
    161
  • 10
    Qwen-Coder：通过Qwen 2.5模型实现智能代码生成的技术实践
    38

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 机器学习集成学习与模型融合
  • 个性化语音合成模型微调
  • 使用ASK容器化部署大语言模型FastChat
  • 机器学习基础与回归算法

    • 相关电子书

    更多
  • 《DeepRec：大规模稀疏模型训练引擎》
  • 展心展力MetaApp：基于DeepRec的稀疏模型训练实践
  • AI模型训练解决方案V1.4

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 函数计算一键部署AI大语言模型并会话
  • 【文生图】一键部署Stable Diffusion基于函数计算
  • 在云上部署ChatGLM2-6B大模型（GPU版）
    • 下一篇
    DataWorks售前咨询