Nat. Methods | ilastik:为生物图像分析而生的交互式机器学习平台

本文涉及的产品
公网NAT网关,每月750个小时 15CU
简介: Nat. Methods | ilastik:为生物图像分析而生的交互式机器学习平台

image.png

工具简介


来自德国海德堡大学的Hamprecht团队开发了一款使用简便的开源交互式工具—ilastik。ilastik能够给用户提供良好的基于机器学习的生物信息图像分析服务,这对于在计算机专业知识方面有所欠缺而又想使用机器学习来做图像分析的用户来说是一个福音。(文末附ilastik下载链接)


研究背景


随着成像技术的快速发展,越来越多的生命科学家投入到生物信息图像分析领域。通常要手工的去完成图像分割,目标检测,目标计数这类工作十分耗时,繁复而又容易出错。此外,在生物图像上做人工标注非常的困难,这一部分通常需要非常专业的人员来完成。


Hamprecht团队开发的ilastik工具利用监督式机器学习的方法,通过把几种常见的生物图像处理过程流程化,规范化,提供给用户一个简单易用的交互式生物信息图像分析平台。目前平台支持的图像分析流程包括图像分割(语义分割、实例分割),目标分类,目标计数以及目标追踪。

image.png

image.png

像素分类(Pixel classification)


像素分类是ilastik中使用的最多的流程,它将用户定义的标签标注到每一个像素点上,并得到图像语义分割的结果。


用户只需要简单的通过画刷工具在图片上将部分类别标注出,ilastik平台将会自动判别图像中的其它像素属于某一个语义类别的概率。


image.png

image.png

在上图中的左上部分,用户用画刷工具标注出部分像素的所属语义类别;右下部分为ilastik通过机器学习算法生成(图中:红色,线粒体;蓝色,膜;黑色,细胞质;红色,微管)。


自动上下文(Autocontext)


自动上下文流程与像素分类流程联系紧密。自动上下文执行了两次像素分类流程,第二次像素分类的输入数据为第一次像素分类得到的结果以及原始图像数据。自动上下文的输出相比单像素分类流程得到的图像结果噪音更少,过渡更平滑,连续。


目标分类(Object classification)


在进行目标分类训练之前,首先需用平滑和阈值方法从像素分割得到的概率图中提取待分类的物体,也可以引入外部提取的结果。之后用户只需要通过单击标注部分待分类物体所属的类别,ilastik平台即可完成其余训练工作,并自动判别图像中的其它待分类物体属于哪一个类别。

image.png

图中的左上部分,用户通过简单的单击即可为目标标注类别;右下部分为ilastik通过机器学习算法生成。


雕镂(Carving)


来自电子显微镜的三维生物信息数据非常适用于在这个流程中做目标分割。用户只需通过笔刷工具将目标和背景简单标记出,ilastik平台会自动识别出要保留的目标区域,并生成三维坐标下的目标体。


image.png

图中的左上部分,用户使用笔刷工具简单标注目标和背景(图中:蓝色,目标;红色,背景);右下部分为ilastik自动生成。

image.png

图a为内质网的电镜图,为了对其进行边缘提取与三维建模,首先在图b中进行简单标注(图中:红色,物体;黄色,背景;蓝色,镂空区域),图c为经过训练后ilastik关于整个区域的预测三维图。


多分(Multicut)


该流程多用于电子显微镜下神经元图像的目标分割。


与雕镂流程类似,多分流程也是基于边界信息将物体分出。不同的是,多分同时将多个目标分出。用户通过标注出图像中的部分边界值为True或者False,ilastik平台即可自动判定其它边界的值,从而实现同时对多个目标进行区分。

image.png

图中的左上部分,用户通过点击标注出正确的边界(绿色)和错误的边界(红色);右下部分为ilastik通过随机森林算法自动生成的结果。


目标计数(Counting)


该流程运行于二维图像数据上,可用于重叠目标的计数。目标计数流程能够准确的计算出那些由于重叠了太多而无法被分割出的目标的数量。用户可以通过笔刷工具标注出背景,单击标注出目标中心,以此给ilastik提供训练数据,之后ilastik平台会自动渲染图像中的其余部分。


image.png

图中的左上部分,笔刷工具标注出背景(洋红色轨迹),单击标注出要计数的目标中心(彩色目标);右下部分为ilastik通过随机森林算法在用户定义的范围内(蓝色长方形区域)对目标的计数。


目标追踪(Tracking)


目标追踪流程能以2D和3D的形式跟踪多个预先检测到的、可能会分割的目标。该流程考虑每个目标的以下因素:它进行细胞分裂的可能性有多大,它被误检测或几个对象合并的可能性有多大,以及它在随后的帧中与相邻对象的匹配程度如何。


按照一般的ilastik方法,用户通过训练一个分类器来识别分割的对象和另一个分类器来发现错误检测和对象合并来提供这些信息。

image.png

图中左上部分,用户通过单击标注出用于可分裂目标(青色),不可分裂目标(品红),合并目标(黄色)和单个目标(蓝色),右下部分,同类目标用相同颜色标记。

ilastik

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
目录
相关文章
|
30天前
|
机器学习/深度学习 测试技术
阿里云入选Gartner数据科学和机器学习平台挑战者象限
Gartner® 正式发布了《数据科学与机器学习平台魔力象限》报告(Magic Quadrant™ for Data Science and Machine Learning Platforms),阿里云成为唯一一家入选该报告的中国厂商,被评为“挑战者”(Challengers)。
|
2月前
|
机器学习/深度学习 算法 数据可视化
机器学习模型中特征贡献度分析:预测贡献与错误贡献
本文将探讨特征重要性与特征有效性之间的关系,并引入两个关键概念:预测贡献度和错误贡献度。
252 3
|
4月前
|
机器学习/深度学习 人工智能 Shell
人工智能平台PAI操作报错合集之在分布式训练过程中遇到报错,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
1月前
|
数据采集 移动开发 数据可视化
模型预测笔记(一):数据清洗分析及可视化、模型搭建、模型训练和预测代码一体化和对应结果展示(可作为baseline)
这篇文章介绍了数据清洗、分析、可视化、模型搭建、训练和预测的全过程,包括缺失值处理、异常值处理、特征选择、数据归一化等关键步骤,并展示了模型融合技术。
47 1
模型预测笔记(一):数据清洗分析及可视化、模型搭建、模型训练和预测代码一体化和对应结果展示(可作为baseline)
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
机器学习中空间和时间自相关的分析:从理论基础到实践应用
空间和时间自相关是数据分析中的重要概念,揭示了现象在空间和时间维度上的相互依赖关系。本文探讨了这些概念的理论基础,并通过野火风险预测的实际案例,展示了如何利用随机森林模型捕捉时空依赖性,提高预测准确性。
42 0
机器学习中空间和时间自相关的分析:从理论基础到实践应用
|
1月前
|
机器学习/深度学习 人工智能 算法
机器学习【教育领域及其平台搭建】
机器学习【教育领域及其平台搭建】
44 7
|
1月前
|
机器学习/深度学习 数据可视化 算法
机器学习中的回归分析:理论与实践
机器学习中的回归分析:理论与实践
|
1月前
|
机器学习/深度学习 数据采集 算法
【Python篇】从零到精通:全面分析Scikit-Learn在机器学习中的绝妙应用
【Python篇】从零到精通:全面分析Scikit-Learn在机器学习中的绝妙应用
37 2
|
1月前
|
机器学习/深度学习 数据挖掘
二、机器学习之回归模型分析
二、机器学习之回归模型分析
96 0