AI 助理
备案控制台
开发者社区 云计算 文章 正文

基于VisualGLM-6B大模型的本地部署与推理

2024-12-12 326
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文是基于清华开源的VisualGLM-6B 支持图像中英文的多模态对话语言模型，进行了一系列本地的简单部署，包括环境配置、模型部署、演示推理、模型微调（官方提供的代码），由于个人电脑显存不足，最后是在阿里云服务器交互式平台DSW终端进行微调和训练操作的。

VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案

0.jpg

由于采用轻量化部署推理，显存只占用7.8GB,可进行本地推理。
1.png

visualGLM-6B大语言模型的web界面推理演示：图像分析、按指令输出结果
2.jpg

香港理工大学wangrongsheng同学基于VisualGLM-6B,利用公开数据集微调训练出的XrayGLM,可实现对X光片进行解析和患者建议，本人只是进行的本地推理演示。
3.jpg

关键词：
通义大模型推理
GLM_ONE
目录
相关文章
阿里云大数据Al技术
|
3月前
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5)：大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端，阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架，解决了异步推理的负载均衡、实例异常时任务重分配等问题，确保请求不丢失、实例不过载。
阿里云大数据Al技术
415 12
探索云世界
|
3月前
|
存储 机器学习/深度学习 缓存
阿里云AirCache技术实现多模态大模型高效推理加速，入选国际顶会ICCV2025
阿里云研发的AirCache技术被计算机视觉顶会ICCV2025收录，该技术通过激活跨模态关联、优化KV缓存压缩策略，显著提升视觉语言模型（VLMs）的推理效率与存储性能。实验表明，在保留仅10%视觉缓存的情况下，模型性能下降小于1%，解码延迟最高降低66%，吞吐量提升达192%。AirCache无需修改模型结构，兼容主流VLMs，已在教育、医疗、政务等多个行业落地应用，助力多模态大模型高效赋能产业智能化升级。
探索云世界
325 1
阿里云大数据Al技术
|
3月前
|
人工智能 缓存 资源调度
云上AI推理平台全掌握 (4)：大模型分发加速
为应对大模型服务突发流量场景，阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存（Memory Cache）的大模型分发加速功能，有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能，零代码即可轻松完成配置。
阿里云大数据Al技术
374 0
Deephub
|
1月前
|
机器学习/深度学习 算法 数据可视化
从零开始训练推理模型：GRPO+Unsloth改造Qwen实战指南
推理型大语言模型兴起，通过先思考再作答提升性能。本文介绍GRPO等强化学习算法，详解其原理并动手用Qwen2.5-3B训练推理模型，展示训练前后效果对比，揭示思维链生成的实现路径。
Deephub
229 2
从零开始训练推理模型：GRPO+Unsloth改造Qwen实战指南
Deephub
|
1月前
|
机器学习/深度学习 人工智能 JSON
微软rStar2-Agent：新的GRPO-RoC算法让14B模型在复杂推理时超越了前沿大模型
Microsoft Research最新推出的rStar2-Agent在AIME24数学基准测试中以80.6%的准确率超越超大规模模型DeepSeek-R1，展现“思考更聪明”而非“更长”的AI推理新方向。
Deephub
128 8
微软rStar2-Agent：新的GRPO-RoC算法让14B模型在复杂推理时超越了前沿大模型
聚客AI
|
1月前
|
存储 缓存 负载均衡
LLM推理成本直降60%：PD分离在大模型商业化中的关键价值
在LLM推理中，Prefill（计算密集）与Decode（访存密集）阶段特性不同，分离计算可提升资源利用率。本文详解vLLM框架中的PD分离实现及局限，并分析Dynamo、Mooncake、SGLang等主流方案，探讨KV缓存、传输机制与调度策略，助力LLM推理优化。建议点赞收藏，便于后续查阅。
聚客AI
716 1
Deephub
|
3月前
|
机器学习/深度学习 负载均衡 C++
MoR vs MoE架构对比：更少参数、更快推理的大模型新选择
本文将深入分析递归混合（MoR）与专家混合（MoE）两种架构在大语言模型中的技术特性差异，探讨各自的适用场景和实现机制，并从架构设计、参数效率、推理性能等多个维度进行全面对比。
Deephub
232 0
MoR vs MoE架构对比：更少参数、更快推理的大模型新选择
modelscope
|
3月前
|
数据采集 编解码 人工智能
Gemma 3n正式版开源：谷歌全新端侧多模态大模型，2GB 内存就能跑，重点提升编码和推理能力！
6月底，Google正式开源发布了全新端侧多模态大模型 Gemma 3n！相较此前的预览版，最新的 Gemma 3n 完整版进一步提升性能表现，支持在 2GB 内存的硬件上本地运行，重点提升了编码和推理方面的能力。
modelscope
473 1

热门文章

最新文章

  • 1
    阿里云欧阳欣 ：AI Agent时代下，云安全的双轮驱动战略
  • 2
    通义安全能力重磅升级，AI编码安全性全球领先
  • 3
    阿里云 2025首届「AI安全」全球挑战赛完美收官，展现大模型安全攻防新高度
  • 4
    AI 超级智能体全栈项目阶段一：AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式（SDK/HTTP/SpringAI/langchain4j）
  • 5
    揭秘大模型工具调用的核心：上下文工程+MCP
  • 6
    云栖 2025｜阿里云 Qwen3 系列领衔：AI 模型全栈突破与开发者落地指南
  • 7
    AI大模型开发语言排行
  • 8
    AI大模型入门 七 核心概念深度解析：参数量、Token、上下文窗口、上下文长度与温度
  • 9
    使用LangChain4j构建Java AI智能体：让大模型学会使用工具
  • 10
    39_统一多模态理解与生成：2025年的技术融合与创新_深度解析
  • 1
    AI大模型入门 七 核心概念深度解析：参数量、Token、上下文窗口、上下文长度与温度
    561
  • 2
    AI大模型应用实践 八：如何通过RAG数据库实现大模型的私有化定制与优化
    216
  • 3
    要不要做算法、大模型备案？看这个流程图就明白了！
    429
  • 4
    AI助教系统：基于大模型与智能体架构的新一代教育技术引擎
    217
  • 5
    105_大模型微调高级优化技术：突破训练瓶颈的实践指南
    331
  • 6
    104_持续预训练与领域适应：大模型专业能力提升指南
    174
  • 7
    88_多模态提示：图像与文本融合
    243
  • 8
    70_大模型服务部署技术对比：从框架到推理引擎
    189
  • 9
    58_大模型评估与评测：构建科学的多维度评测体系
    165
  • 10
    57_大模型监控与运维：构建稳定可靠的服务体系
    145

    • 相关课程

    更多
  • 阿里云大模型工程师ACA认证免费课程
  • 阿里云百炼大模型产品实践
  • ADB-PG+大模型一站式AIGC解决方案
  • 阿里云百炼，手把手教你如何构建企业大模型应用服务
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 【开眼界】大模型时代的个人应对策略

    • 相关电子书

    更多
  • OpenSearch向量检索和大模型方案
  • 通义万相：视觉生成大模型的进化与应用
  • 达摩院通义视觉生成大模型
    • 下一篇
    阿里云oss简介和如何对接使用