LabVIEW中使用unet快速实现图像分割

2023-08-30 114

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： LabVIEW中使用unet快速实现图像分割

‍‍🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主

🍻本文由virobotics(仪酷智能)原创首发

🥳欢迎大家关注✌点赞👍收藏⭐留言📝

前言

Hello，大家好，我是virobotics（仪酷智能），一个深耕于LabVIEW和人工智能领域的开发工程师。

今天我们一起来学习一下在LabVIEW中部署Unet模型，实现图像分割。

一、Unet简介

Unet是一种用于图像分割的深度学习模型，其名称源自其U形的网络结构。最初由Olaf Ronneberger、Philipp Fischer和Thomas Brox在2015年的论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中提出，旨在解决生物医学图像分割的问题。

U-Net 起源于医疗图像分割，整个网络是标准的encoder-decoder网络，特点是参数少，计算快，应用性强，对于一般场景适应度很高。原始U-Net的结构如下图所示，由于网络整体结构类似于大写的英文字母U，故得名U-net。左侧可视为一个编码器，右侧可视为一个解码器。编码器有四个子模块，每个子模块包含两个卷积层，每个子模块之后通过max pool进行下采样。由于卷积使用的是valid模式，故实际输出比输入图像小一些。具体来说，后一个子模块的分辨率=(前一个子模块的分辨率-4)/2。U-Net使用了Overlap-tile 策略用于补全输入图像的上下信息，使得任意大小的输入图像都可获得无缝分割。同样解码器也包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像的分辨率基本一致。该网络还使用了跳跃连接，以拼接的方式将解码器和编码器中相同分辨率的feature map进行特征融合，帮助解码器更好地恢复目标的细节。

与传统的基于机器学习的图像分割方法相比，Unet具有更好的性能和更高的鲁棒性。在医学影像分割方面，Unet已被用于分割肝脏、肺部、乳腺、心脏和脑部等器官。

医疗影像分割的案例部署可查看博文：https://blog.csdn.net/virobotics/article/details/125260923

unet优缺点

优点：模型较为简单，对于某一特定类型分割比较清楚
缺点：网络无法提取太多特征，导致对输入图片的要求比较高（如周围环境、背景等。例如本案例中仅对数据集中的车辆能够较好地分割）

二、环境搭建

2.1 部署本项目时所用环境

操作系统：Windows10
python：3.6及以上
LabVIEW：2018及以上 64位版本
AI视觉工具包：techforce_lib_opencv_cpu-1.0.0.98.vip
onnx工具包：virobotics_lib_onnx_cuda_tensorrt-1.0.0.16.vip【1.0.0.16及以上版本】或virobotics_lib_onnx_cpu-1.13.1.2.vip

2.2 LabVIEW工具包下载及安装网址

AI视觉工具包下载与安装参考：
https://blog.csdn.net/virobotics/article/details/123656523
- AI视觉工具包介绍：
  https://blog.csdn.net/virobotics/article/details/123522165
onnx工具包下载与安装参考：
https://blog.csdn.net/virobotics/article/details/124998746

三、LabVIEW调用Unet实现图像分割

3.1 pytorch unet模型的获取

我们已经给大家准备了Unet模型，可以直接使用~

当然，如果读者想要自己下载模型并转换为onnx模型，那可以按照如下方式下载

方式一（新版本模型文件pth格式）： https://github.com/milesial/Pytorch-UNet/releases

方式二（老版本模型文件pth格式）： https://github.com/milesial/Pytorch-UNet/releases/tag/v1.0

将下载好的pth转为onnx(toonnx.py)

#!/usr/bin/python3

import torch
from unet import UNet


def parseToOnnx():

    net = UNet(n_channels=3, n_classes=2, bilinear=False)
    net.load_state_dict(
        torch.load('unet_carvana_scale0.5_epoch2.pth',
                   map_location=torch.device('cpu')))

    print(net.eval())

    batch_size, channels, height, width = 1, 3, 480, 640
    inputs = torch.randn((batch_size, channels, height, width))

    outputs = net(inputs)
    assert outputs.shape[0] == batch_size
    assert not torch.isnan(outputs).any(), 'Output included NaNs'

    torch.onnx.export(
        net,  # model being run
        inputs,  # model input (or a tuple for multiple inputs)
        "unet.onnx",  # where to save the model (can be a file or file-like   object)
        export_params=
        True,  # store the trained parameter weights inside the model     file
        opset_version=11,  # the ONNX version to export the model to
        do_constant_folding=
        False,  # whether to execute constant folding for optimization
        input_names=['inputs'],  # the model's input names
        output_names=['outputs'],  # the model's output names
        #dynamic_axes={
   
   
         #   'inputs': {
   
   
          #      0: 'batch_size'
           # },  # variable lenght axes
            #'outputs': {
   
   
             #   0: 'batch_size'
            #}
        #}
    )

    print("ONNX model conversion is complete.")
    return
parseToOnnx()

如果你想要自己训练模型，则可在官方网站下载数据集（温馨提示：数据集有点大哦）

官方数据集：https://www.kaggle.com/c/carvana-image-masking-challenge

3.2 查看模型输出输出

打开http://netron.app，载入本地onnx模型，我们可以看到模型的输入输出

我们查看模型的输入shape，是因为推理过程Run_one_input.vi需要输入shape，不过我们也可以使用GetInputInfo.vi来直接获取模型输入的shape

3.3 实现图像分割（unet.vi）

实现源码：

运行结果：

四、项目源码

如需LabVIEW源码，可查看;https://blog.csdn.net/virobotics/article/details/131202660

更多

总结

以上就是今天要给大家分享的内容，希望对大家有用。如有笔误，还请各位及时指正。后续还会继续给各位朋友分享其他案例，欢迎大家关注博主。我是virobotics（仪酷智能），我们下篇文章见~

如果有问题可以在评论区里讨论，提问前请先点赞支持一下博主哦，如您想要探讨更多关于LabVIEW与人工智能技术，欢迎加入我们的技术交流群：705637299。进群请备注：LabVIEW机器视觉

**如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏