Nat. Methods | ilastik:为生物图像分析而生的交互式机器学习平台

简介: Nat. Methods | ilastik:为生物图像分析而生的交互式机器学习平台

image.png

工具简介


来自德国海德堡大学的Hamprecht团队开发了一款使用简便的开源交互式工具—ilastik。ilastik能够给用户提供良好的基于机器学习的生物信息图像分析服务,这对于在计算机专业知识方面有所欠缺而又想使用机器学习来做图像分析的用户来说是一个福音。(文末附ilastik下载链接)


研究背景


随着成像技术的快速发展,越来越多的生命科学家投入到生物信息图像分析领域。通常要手工的去完成图像分割,目标检测,目标计数这类工作十分耗时,繁复而又容易出错。此外,在生物图像上做人工标注非常的困难,这一部分通常需要非常专业的人员来完成。


Hamprecht团队开发的ilastik工具利用监督式机器学习的方法,通过把几种常见的生物图像处理过程流程化,规范化,提供给用户一个简单易用的交互式生物信息图像分析平台。目前平台支持的图像分析流程包括图像分割(语义分割、实例分割),目标分类,目标计数以及目标追踪。

image.png

image.png

像素分类(Pixel classification)


像素分类是ilastik中使用的最多的流程,它将用户定义的标签标注到每一个像素点上,并得到图像语义分割的结果。


用户只需要简单的通过画刷工具在图片上将部分类别标注出,ilastik平台将会自动判别图像中的其它像素属于某一个语义类别的概率。


image.png

image.png

在上图中的左上部分,用户用画刷工具标注出部分像素的所属语义类别;右下部分为ilastik通过机器学习算法生成(图中:红色,线粒体;蓝色,膜;黑色,细胞质;红色,微管)。


自动上下文(Autocontext)


自动上下文流程与像素分类流程联系紧密。自动上下文执行了两次像素分类流程,第二次像素分类的输入数据为第一次像素分类得到的结果以及原始图像数据。自动上下文的输出相比单像素分类流程得到的图像结果噪音更少,过渡更平滑,连续。


目标分类(Object classification)


在进行目标分类训练之前,首先需用平滑和阈值方法从像素分割得到的概率图中提取待分类的物体,也可以引入外部提取的结果。之后用户只需要通过单击标注部分待分类物体所属的类别,ilastik平台即可完成其余训练工作,并自动判别图像中的其它待分类物体属于哪一个类别。

image.png

图中的左上部分,用户通过简单的单击即可为目标标注类别;右下部分为ilastik通过机器学习算法生成。


雕镂(Carving)


来自电子显微镜的三维生物信息数据非常适用于在这个流程中做目标分割。用户只需通过笔刷工具将目标和背景简单标记出,ilastik平台会自动识别出要保留的目标区域,并生成三维坐标下的目标体。


image.png

图中的左上部分,用户使用笔刷工具简单标注目标和背景(图中:蓝色,目标;红色,背景);右下部分为ilastik自动生成。

image.png

图a为内质网的电镜图,为了对其进行边缘提取与三维建模,首先在图b中进行简单标注(图中:红色,物体;黄色,背景;蓝色,镂空区域),图c为经过训练后ilastik关于整个区域的预测三维图。


多分(Multicut)


该流程多用于电子显微镜下神经元图像的目标分割。


与雕镂流程类似,多分流程也是基于边界信息将物体分出。不同的是,多分同时将多个目标分出。用户通过标注出图像中的部分边界值为True或者False,ilastik平台即可自动判定其它边界的值,从而实现同时对多个目标进行区分。

image.png

图中的左上部分,用户通过点击标注出正确的边界(绿色)和错误的边界(红色);右下部分为ilastik通过随机森林算法自动生成的结果。


目标计数(Counting)


该流程运行于二维图像数据上,可用于重叠目标的计数。目标计数流程能够准确的计算出那些由于重叠了太多而无法被分割出的目标的数量。用户可以通过笔刷工具标注出背景,单击标注出目标中心,以此给ilastik提供训练数据,之后ilastik平台会自动渲染图像中的其余部分。


image.png

图中的左上部分,笔刷工具标注出背景(洋红色轨迹),单击标注出要计数的目标中心(彩色目标);右下部分为ilastik通过随机森林算法在用户定义的范围内(蓝色长方形区域)对目标的计数。


目标追踪(Tracking)


目标追踪流程能以2D和3D的形式跟踪多个预先检测到的、可能会分割的目标。该流程考虑每个目标的以下因素:它进行细胞分裂的可能性有多大,它被误检测或几个对象合并的可能性有多大,以及它在随后的帧中与相邻对象的匹配程度如何。


按照一般的ilastik方法,用户通过训练一个分类器来识别分割的对象和另一个分类器来发现错误检测和对象合并来提供这些信息。

image.png

图中左上部分,用户通过单击标注出用于可分裂目标(青色),不可分裂目标(品红),合并目标(黄色)和单个目标(蓝色),右下部分,同类目标用相同颜色标记。

ilastik

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
目录
相关文章
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
机器学习/深度学习 测试技术
阿里云入选Gartner数据科学和机器学习平台挑战者象限
Gartner® 正式发布了《数据科学与机器学习平台魔力象限》报告(Magic Quadrant™ for Data Science and Machine Learning Platforms),阿里云成为唯一一家入选该报告的中国厂商,被评为“挑战者”(Challengers)。
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
机器学习/深度学习 数据采集 分布式计算
大数据分析中的机器学习基础:从原理到实践
大数据分析中的机器学习基础:从原理到实践
878 3
|
机器学习/深度学习 人工智能 监控
AutoTrain:Hugging Face 开源的无代码模型训练平台
AutoTrain 是 Hugging Face 推出的开源无代码模型训练平台,旨在简化最先进模型的训练过程。用户无需编写代码,只需上传数据即可创建、微调和部署自己的 AI 模型。AutoTrain 支持多种机器学习任务,并提供自动化最佳实践,包括超参数调整、模型验证和分布式训练。
1864 4
AutoTrain:Hugging Face 开源的无代码模型训练平台
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
887 15
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
机器学习/深度学习 数据采集 运维
机器学习在运维中的实时分析应用:新时代的智能运维
机器学习在运维中的实时分析应用:新时代的智能运维
544 12
|
数据采集 移动开发 数据可视化
模型预测笔记(一):数据清洗分析及可视化、模型搭建、模型训练和预测代码一体化和对应结果展示(可作为baseline)
这篇文章介绍了数据清洗、分析、可视化、模型搭建、训练和预测的全过程,包括缺失值处理、异常值处理、特征选择、数据归一化等关键步骤,并展示了模型融合技术。
1863 1
模型预测笔记(一):数据清洗分析及可视化、模型搭建、模型训练和预测代码一体化和对应结果展示(可作为baseline)