VisionFM:通用眼科 AI 大模型,具备眼科疾病诊断能力,展现出专家级别的准确性

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: VisionFM 是一个多模态多任务的视觉基础模型,专为通用眼科人工智能设计。通过预训练大量眼科图像,模型能够处理多种眼科成像模态,并在多种眼科任务中展现出专家级别的智能性和准确性。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:VisionFM 能够筛查和诊断多种眼科疾病,并预测疾病的发展趋势。
  2. 技术:通过大规模预训练和多模态多任务学习,VisionFM 展现出强大的泛化能力。
  3. 应用:VisionFM 在眼科临床任务、基层医疗环境和教育培训中具有广泛的应用前景。

正文(附运行示例)

VisionFM 是什么

公众号: 蚝油菜花 - VisionFM

VisionFM(伏羲慧眼)是一个多模态多任务的视觉基础模型,专为通用眼科人工智能而设计。通过预训练 3.4 百万张来自 560,457 个个体的眼科图像,覆盖广泛的眼科疾病、成像模态、设备和人群统计数据。VisionFM 能处理包括眼底摄影、光学相干断层扫描(OCT)、荧光素眼底血管造影(FFA)等在内的八种常见眼科成像模态,应用于眼科疾病识别、疾病进展预测、疾病表型细分以及全身生物标志物和疾病预测等多种眼科 AI 任务。

VisionFM 在诊断 12 种常见眼科疾病方面超越了具有基础和中级水平的眼科医生,在大规模眼科疾病诊断基准数据库上超越了强大的基线深度神经网络。VisionFM 还表现出对新眼科模态、疾病谱系和成像设备的强泛化能力。

VisionFM 的主要功能

  • 疾病筛查和诊断:VisionFM 能够筛查和诊断多种眼科疾病,包括糖尿病视网膜病变、青光眼、老年性黄斑变性等。
  • 疾病预后:模型还能预测疾病的发展趋势和预后。
  • 疾病表型细分:VisionFM 可以进行疾病表型的亚分类,包括病变、血管和层的分割,以及地标检测。
  • 全身生物标志物和疾病预测:除了眼部疾病,VisionFM 还能从眼部图像中预测全身的生物标志物和疾病。
  • 多模态处理能力:VisionFM 能够处理包括眼底摄影、OCT、FFA 在内的八种常见眼科成像模态。
  • 模态无关的诊断:VisionFM 支持模态无关的诊断,即可以用单一解码器诊断不同成像模态中的多种眼科疾病。
  • 少样本学习:VisionFM 展现出少样本学习的能力,能够以高准确度诊断新疾病,即使只有少量的标注样本。
  • 强大的泛化能力:模型对新的眼科模态、疾病谱系和成像设备展现出强大的泛化能力。
  • 合成数据增强学习:VisionFM 还能利用合成的眼科成像数据来增强其表示学习能力,从而在下游眼科 AI 任务上取得显著的性能提升。

VisionFM 的技术原理

  • 大规模预训练:VisionFM 是一个基于深度学习的视觉基础模型,它通过预训练 3.4 百万张来自 560,457 个个体的眼科图像,覆盖广泛的眼科疾病、成像模态、成像设备和人口统计学数据。
  • 多模态多任务学习:VisionFM 能够处理多种眼科成像模态,包括眼底摄影、OCT、FFA 等,并应用于疾病筛查、诊断、疾病预后、疾病表型细分等多种眼科 AI 任务。
  • 专家级智能和准确性:预训练后的 VisionFM 在多个眼科 AI 应用中展现出专家级别的智能性和准确性,其全科智能在联合诊断 12 种常见眼科疾病方面超越了初级和中级眼科医生。

如何运行 VisionFM

1. 安装环境

首先,使用 Conda 创建并激活环境:

conda create -n vfm python=3.8
conda activate vfm

安装依赖项:

git clone https://github.com/ABILab-CUHK/VisionFM.git
cd VisionFM
pip install -r requirements.txt

2. 预训练

2.1. 准备预训练数据集

在研究中,我们使用了 8 种模态:Fundus, OCT, External Eye, UBM, B-Ultrasound, MRI, Silt Lamp, and FFA。每种模态的数据路径应包含所有图像,例如:

.
├── /dst_dir/Fundus/
│   ├── 1.jpg
│   ├── 2.png
│   └── ....
├── /dst_dir/OCT/
│   ├── 1.png
│   ├── 2.jpg
│   └── ...
└── ...

如果没有眼底摄影图像,可以使用以下命令生成随机图像:

cd evaluation
python random_data.py --task pretrain --dst_dir ../dataset/pretrain_random

2.2. 预训练 VisionFM 编码器

训练 vit-base 编码器:

CUDA_VISIBLE_DEVICES=0,1,2,3 nohup python3 -m torch.distributed.launch --nnodes 1 --node_rank 0 --nproc_per_node=4 --master_addr=127.0.0.1 --master_port=29500 main_pretrain.py \
--local-rank=0 \
--data_path ./dataset/pretrain_random \
--modality Fundus \ 
--norm_last_layer true \
--epochs 400 \
--batch_size_per_gpu 12 \
--shared_head true \
--out_dim 8192 \
--output_dir ./results \
--global_crops_scale 0.32 1.0 \
--pred_ratio 0 0.3 \
--pred_ratio_var 0 0.2 \
--name Train_Random_Fundus \
--load_pretrain > train_fundus.log 2>&1 &

3. 训练解码器

3.1. 下载预训练权重

根据需要研究的模态下载相应的模型权重:

Modality Google Drive
Fundus https://drive.google.com/file/d/13uWm0a02dCWyARUcrCdHZIcEgRfBmVA4/view?usp=sharing
OCT https://drive.google.com/file/d/1o6E-ine2QLx2pxap-c77u-SU0FjxwypA/view?usp=sharing
FFA https://drive.google.com/file/d/128izBUNV00Ojb9w9Dq3GhBvhWqzU-mla/view?usp=sharing
Ultrasound https://drive.google.com/file/d/1IlD0snowxdEVvxmiIBZGR0D9uOcrCT2D/view?usp=sharing
External Eye https://drive.google.com/file/d/16zGHTD4ZcGAYW382kKHBw3TU6D1OtvTD/view?usp=sharing
Silt Lamp https://drive.google.com/file/d/1pemWDkGoZYlqLQ6ooFINktyk8xnv9wY_/view?usp=sharing
MRI https://drive.google.com/file/d/1fcfylnOWhfnZHBAKT9pQPufyS5ZYCXu0/view?usp=sharing
UBM https://drive.google.com/file/d/1q2fVOgFBnWNu1BsXaza1A-OIcCiifNUQ/view?usp=sharing

3.2. 训练分类解码器

训练分类解码器的命令如下:

CUDA_VISIBLE_DEVICES=0 nohup python3 -m torch.distributed.launch --nproc_per_node=1 --master_port=29501 evaluation/train_cls_decoder.py \
--name single_cls_debug \
--pretrained_weights ./pretrain_weights/VFM_Fundus_weights.pth \
--output_dir ./results \
--data_path ./dataset/single_cls_random/FundusClassification/ \
--num_labels 5 \
--batch_size_per_gpu 32 > train_single_cls.log 2>&1 &

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
30天前
|
机器学习/深度学习 人工智能 测试技术
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
PsycoLLM 是合肥工业大学推出的中文心理大语言模型,基于高质量心理数据集训练,支持心理健康评估、多轮对话和情绪识别,为心理健康领域提供技术支持。
720 51
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
129 16
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
27天前
|
存储 人工智能 自然语言处理
|
14天前
|
人工智能 测试技术 Python
VideoChat-Flash:上海AI Lab开源高效处理超长视频的多模态大模型
VideoChat-Flash 是上海人工智能实验室等机构推出的多模态大模型,通过分层压缩技术高效处理长视频,支持长达数小时的视频输入,推理速度提升5-10倍。
55 1
VideoChat-Flash:上海AI Lab开源高效处理超长视频的多模态大模型
|
21天前
|
弹性计算 人工智能 自然语言处理
OS Copilot——面向未来的AI大模型
阿里云的智能助手`OS Copilot`是一款基于大模型构建的操作系统智能助手,支持自然语言问答、辅助命令执行、系统运维调优等功能。
57 8
OS Copilot——面向未来的AI大模型
|
22天前
|
数据采集 人工智能 安全
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
在人工智能领域,大型语言模型(LLMs)的发展迅速,但如何提升其指令遵循能力仍是一大挑战。论文提出MATRIX-Gen,一个基于多智能体模拟的AI社会模拟器。MATRIX-Gen通过模拟智能体交互生成多样化的现实场景,不依赖预定义模板,从而合成高质量指令数据。它包括MATRIX模拟器和MATRIX-Gen指令生成器,能生成监督微调、偏好微调及特定领域的数据集。实验表明,使用MATRIX-Gen合成的数据集微调后的模型在多个基准测试中表现出色,显著优于现有方法。然而,该方法也面临智能体和场景规模对数据质量的影响等挑战。
70 33
|
2天前
|
人工智能 安全 数据库
AiCodeAudit-基于Ai大模型的自动代码审计工具
本文介绍了基于OpenAI大模型的自动化代码安全审计工具AiCodeAudit,通过图结构构建项目依赖关系,提高代码审计准确性。文章涵盖概要、整体架构流程、技术名词解释及效果演示,详细说明了工具的工作原理和使用方法。未来,AI大模型有望成为代码审计的重要工具,助力软件安全。项目地址:[GitHub](https://github.com/xy200303/AiCodeAudit)。
|
14天前
|
人工智能 供应链 搜索推荐
大模型进化论:AI产业落地将卷向何方?
大模型进化论:AI产业落地将卷向何方?
57 11
|
1月前
|
数据采集 人工智能 搜索推荐
SocraticLM:通过 AI 提问引导学生主动思考,中科大与科大讯飞联合推出苏格拉底式教育大模型
SocraticLM 是由中科大和科大讯飞联合开发的苏格拉底式教学大模型,通过提问引导学生主动思考,提供个性化教学,显著提升教学效果。
94 9
SocraticLM:通过 AI 提问引导学生主动思考,中科大与科大讯飞联合推出苏格拉底式教育大模型
|
24天前
|
人工智能 缓存 Ubuntu
AI+树莓派=阿里P8技术专家。模拟面试、学技术真的太香了 | 手把手教学
本课程由阿里P8技术专家分享,介绍如何使用树莓派和阿里云服务构建AI面试助手。通过模拟面试场景,讲解了Java中`==`与`equals`的区别,并演示了从硬件搭建、语音识别、AI Agent配置到代码实现的完整流程。项目利用树莓派作为核心,结合阿里云的实时语音识别、AI Agent和文字转语音服务,实现了一个能够回答面试问题的智能玩偶。课程展示了AI应用的简易构建过程,适合初学者学习和实践。
87 22

热门文章

最新文章