一、介绍
计算机视觉分为四大基本任务(分类、定位、检测、分割)。而这里了解了一下实例分割。
实例分割：机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记
借一个浅显的说法：语义分割不区分属于相同类别的不同实例。例如，当图像中有多只猫时，语义分割会将两只猫整体的所有像素预测为“猫”这个类别。与此不同的是，实例分割需要区分出哪些像素属于第一只猫、哪些像素属于第二只猫。
这里以猫为例，基本思路：目标检测+语义分割。
通过目标检测，先检测到猫，然后在用语义分割，就可以实现把猫区分出来，最终达到下图效果
二、实现过程
实现使用的是Mask R-CNN，Mask R-CNN用于目标检测和分割
地址：
GitHub - matterport/Mask_RCNN：Mask R-CNN，用于 Keras 和 TensorFlow 上的对象检测和实例分割
也可以自己训练数据集，训练方法文档有详细教程。
这是使用是基于mask rcnn训练好的coco数据集的权重mask_rcnn_coco.h5模型。
mask_rcnn_coco.h5：下载链接如下：
链接：https://pan.baidu.com/s/1k0IhAh-H8HYsKl7t9C6jAQ
提取码：bu1r
--来自百度网盘超级会员V4的分享
1、下载源码
Releases · matterport/Mask_RCNN · GitHub
下载后解压，并下载模型，在源码下新建目录weighs存放模型，结构如下：
三、创建环境
这是使用的是pixellib，安装使用方法：https://pixellib.readthedocs.io/en/latest/index.html
根据上面创建环境
1、创建虚拟机
conda create -n danmu python==3.8
2、安装
所需要安装的
# TensorFlow
# Windows：pip3 install tensorflow==2.2.0 (最新版的2.8可能会报错)
# macOS：conda install -c conda-forge tensorflow
# pip3 install imgaug
# pip3 install pixellib --upgrade
# conda install -c conda-forge jupyterlab
pip install tensorflow==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install imgaug -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pixellib --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install 'protobuf~=3.19.0' -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install numpy==1.23.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install -c conda-forge jupyterlab
jupyter lab
到此，环境搭建完成。接下来是编写一个简单的代码测试一下。
四、代码
功能不是很复杂，基本看得懂，所以直接上代码。
这里注意target_classes = segment_frame.select_target_classes(cat=True)，选择的类别是猫，模型也有其他的，可以自行修改。
import cv2
import numpy as np
import matplotlib.pyplot as plt
import pixellib
from pixellib.instance import instance_segmentation
class Segment_Video:
def __init__(self):
pass
def segment_det(self):
# 实例化
segment_frame = instance_segmentation()
segment_frame.load_model("weights/mask_rcnn_coco.h5")
# 选择类别
target_classes = segment_frame.select_target_classes(cat=True)
# 摄像头
#cap = cv2.VideoCapture(0)
cap = cv2.VideoCapture('./videos/video_cat.mp4')
# 获取视频宽度与高度
frame_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# 获取帧率
fps = int(cap.get(cv2.CAP_PROP_FPS))
# 构建视频写入器
video_name = './out_video/out_video_cat.mp4'
video_writer = cv2.VideoWriter(video_name, cv2.VideoWriter_fourcc(*'mp4v'), fps, (frame_w, frame_h))
frame_index = 0
while True:
ret, frame = cap.read()
if frame is None:
break
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 分割
results, output = segment_frame.segmentFrame(frame, segment_target_classes=target_classes, show_bboxes=True)
output = cv2.cvtColor(output, cv2.COLOR_RGB2BGR)
cv2.imshow('test?', output)
video_writer.write(output)
frame_index += 1
print('第%d帧处理完毕' % (frame_index))
if cv2.waitKey(10) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
demo = Segment_Video()
demo.segment_det()
运行结束后，在保存成一个视频。效果如下，基本可以识别出猫，并分割出来。
