❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

⚕️ 「凌晨3点的值班室，年轻医生看着堆积的CT影像陷入绝望——直到遇见HealthGPT」

大家好，我是蚝油菜花。这是正在发生的医疗AI革命：

• 🩺 住院医小刘：1小时看完50份胸部X光片，自动标注可疑结节
• 🧑⚕️ 主任医师老王：3分钟生成标准化诊断报告，误诊率下降27%
• 🏥 三甲医院放射科：采用H-LoRA技术后，多模态诊断一致性提升41%

由浙江大学&阿里领衔研发的 HealthGPT ，正在重新定义智能医疗：这个基于异构低秩适应技术的医学LVLM模型，不仅实现CT/MRI的秒级解读，更能自动生成结构化诊断建议。接下来我们将深度解析，这个140亿参数的「AI医助」如何突破医疗多模态认知边界。

🚀 快速阅读

HealthGPT 是一种先进的医学视觉语言模型，能够统一处理医学视觉理解和生成任务。

1. 核心功能：支持医学图像分析、诊断辅助、视觉问答、文本理解与生成以及多模态融合。
2. 技术原理：采用异构低秩适应（H-LoRA）、分层视觉感知（HVP）和三阶段学习策略（TLS），优化了任务间的知识分离和模型性能。

HealthGPT 是什么

HealthGPT 是一种专为医疗场景设计的视觉语言模型，通过异构知识适应技术实现了医学视觉理解与生成任务的统一框架。它采用了创新的异构低秩适应（H-LoRA）技术，将不同任务的知识存储在独立的“插件”中，避免了任务间的冲突。

模型提供了两个版本：HealthGPT-M3（38亿参数）和 HealthGPT-L14（140亿参数），分别基于 Phi-3-mini 和 Phi-4 预训练语言模型。HealthGPT 引入了分层视觉感知（HVP）和三阶段学习策略（TLS），显著提升了复杂医学图像数据的处理能力和任务适应性。

此外，HealthGPT 支持多种医疗应用场景，包括医学图像生成、教育研究以及智能健康管理，为医疗领域带来了强大的多模态工具。

HealthGPT 的主要功能

• 医学图像分析与诊断辅助：能够处理 X 光、CT、MRI 等多种医学图像，为医生提供影像解读和诊断建议。
• 视觉问答：基于医学图像回答问题，如异常情况或病变位置的解释。
• 医学文本理解与生成：处理病历总结、诊断报告等文本内容，帮助医生快速整理患者信息。
• 多模态融合：结合视觉和文本信息，全面理解复杂医疗场景并提供精准建议。
• 个性化治疗方案建议：根据患者病史和图像生成定制化治疗方案，辅助临床决策。

HealthGPT 的技术原理

• 异构低秩适应（H-LoRA）：通过引入低秩矩阵更新权重，将视觉理解与生成任务的学习过程分离，减少参数量的同时保持模型表达能力。
• 分层视觉感知（HVP）：将视觉细节学习从视觉变换器（ViT）中分离，分别满足视觉理解和生成任务的需求。
• 三阶段学习策略（TLS）：逐步训练 H-LoRA 插件，使模型在数据受限的情况下仍能高效适应多种医疗任务。

如何运行 HealthGPT

安装环境

克隆项目仓库并创建 Python 环境：

git clone https://github.com/DCDmllm/HealthGPT.git
cd HealthGPT
conda create -n HealthGPT python=3.10
conda activate HealthGPT
pip install -r requirements.txt

准备预训练权重

下载以下模型权重文件，并将其放置在指定路径：

• clip-vit-large-patch14-336：https://huggingface.co/openai/clip-vit-large-patch14-336
• Phi-3-mini-4k-instruct：https://huggingface.co/microsoft/Phi-3-mini-4k-instruct
• phi-4：https://huggingface.co/microsoft/phi-4

对于生成任务，还需下载VQGAN 模型权重，并将文件放置在 taming_transformers/ckpt 目录下。

• VQGAN 模型权重：https://heibox.uni-heidelberg.de/d/2e5662443a6b4307b470/?p=%2F&mode=list

医学视觉问答示例

运行以下命令进行医学视觉问答任务：

python3 com_infer.py \
    --model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
    --dtype "FP16" \
    --hlora_r "64" \
    --hlora_alpha "128" \
    --hlora_nums "4" \
    --vq_idx_nums "8192" \
    --instruct_template "phi3_instruct" \
    --vit_path "openai/clip-vit-large-patch14-336/" \
    --hlora_path "path/to/your/local/com_hlora_weights.bin" \
    --fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
    --question "Your question" \
    --img_path "path/to/image.jpg"

图像重建示例

运行以下命令进行图像重建任务：

python3 gen_infer.py \
    --model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
    --dtype "FP16" \
    --hlora_r "256" \
    --hlora_alpha "512" \
    --hlora_nums "4" \
    --vq_idx_nums "8192" \
    --instruct_template "phi3_instruct" \
    --vit_path "openai/clip-vit-large-patch14-336/" \
    --hlora_path "path/to/your/local/gen_hlora_weights.bin" \
    --fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
    --question "Reconstruct the image." \
    --img_path "path/to/image.jpg" \
    --save_path "path/to/save.jpg"

资源

• 项目官网：https://llsuzy.github.io/HealthGPT.github.io/
• GitHub 仓库：https://github.com/DCDmllm/HealthGPT

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦