以前一直都在做目标检测和分类项目，现在准备入坑目标跟踪，准备从传统算法开始学习，然后再到深度学习方法。
目标跟踪是计算机视觉领域的一个重要研究领域，也被广泛的使用。
在目标跟踪任务中又可以分为单目标跟踪和多目标跟踪。
按照任务计算类型又可以分为以下2类。
在线跟踪 - 在线跟踪需要实时处理任务，通过过去和现在帧来跟踪未来帧中物体的位置。
离线跟踪 - 离线跟踪是离线处理任务，可以通过过去、现在和未来的帧来推断物体的位置，因此准确率会在线跟踪高。
而目标跟踪也有自己的技术难点，比如：目标的形态、尺度、环境光照等变换，或者运动速度快，有遮挡时也会导致跟踪失败
在目标跟踪的发展中，也产生了很多算法，传统算法比如有光流法，背景差分法，粒子滤波法等等，直至现在常用的深度学习。
本文先研究的背景法，以后会不断更新其他方法。
背景法：将视频的初始帧(当然也可以自己去设定某一帧)设定为背景，因为背景是几乎没什么变化的，变的是运动的物体。然后让之后的每一帧与背景帧做差值，这样就可以检测出运动物体，这种方法也不用像深度学习需要进行训练。缺点就是对周围光照很敏感，所以适合在光照稳定的场景中
代码：
【代码都已经加了注释，基本上一看就懂】
import cv2 import numpy as np ''' 背景法将开始的一幅图像作为背景，然后和后面的每一帧对比，缺点是一开始存入的背景可能随光照变法而造成错误 但是可以用在光照环境稳定的地方，优点是可以检测之前背景没有的景象 ''' camera = cv2.VideoCapture(0) if (camera.isOpened()): # 判断视频是否打开 print('设想头成功打开') else: print('摄像头未打开') fps = camera.get(cv2.CAP_PROP_FPS) fourcc = cv2.VideoWriter_fourcc(*'XVID') # 读取视频尺寸 size = (int(camera.get(cv2.CAP_PROP_FRAME_WIDTH)), int(camera.get(cv2.CAP_PROP_FRAME_HEIGHT))) out_frame = cv2.VideoWriter('跟踪.avi', fourcc, fps, size) print('视频尺寸:', size) # 构建3*3 用来构造内核 # cv2.getStructuringElement(shape, ksize, anchor=None) # shape:表示内核的形状 MORPH_RECT(矩形)，MORPH_CROSS(交叉形)，MORPH_ELLIPSE(椭圆形) # kisze:内核的尺寸 es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) kernel = np.ones((5, 5), np.uint8) background = None # 背景 while True: # 读取视频流 ret, frame = camera.read() # 对帧进行预处理 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 转灰度图像 gray = cv2.GaussianBlur(gray, (21, 21), 0) # 高斯滤波（降噪：摄像头震动、光照变化） # 将第一帧设置为整个输入的背景 if background is None: background = gray # 将第一帧做位背景图，此刻background不再是None continue # 对比背景之后的帧与背景之间的差异，并得到一个差分图（different map）。 # 二值化处---->膨胀（dilate）得到图像区域块 # cv2.threshold(src, thresh, maxval, type, dst=None)通过阈值二值化处理图像， # src是需要操作的图像 # thresh是阈值参数 # maxval是高于阈值时赋予的参数，高于阈值的像素点全部位maxval，小于阈值的为0 # type是方法参数，cv2.THRESH_BINARY（黑白二值） # cv2.dilate形态学中的膨胀处理，用上面我们构建的元素来对图像进行膨胀 diff_img = cv2.absdiff(background, gray) # 获取差分图，就是两幅图做差(第一帧的时候肯定是0) diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1] # 图像二值化处理 diff_img = cv2.dilate(diff_img, es, iterations=2) # 显示矩形框：计算一幅图像中目标的轮廓 cv2.RETR_EXTERNAL查找外轮廓，cv2.CHAIN_APPROX_SIMPLE 轮廓只需4个点来保存轮廓信息 # contours 一个列表，用来存储能描述轮廓的信息 contours, hierarchy = cv2.findContours(diff_img.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for c in contours: # cv2.contourArea(c)计算轮廓面积 c是单个输入的轮廓值 if cv2.contourArea(c) < 1500: continue (x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框 cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2) cv2.imshow('contours', frame) out_frame.write(frame) cv2.imshow('diff_img', diff_img) key = cv2.waitKey(1) & 0xFF if key == ord('q'): # 按'q'健退出循环 break # 释放资源并关闭窗口 camera.release() cv2.destroyAllWindows()
上述代码需要讲下的部分：
es是通过构建一个模板(可以理解为一个卷积)，我这里设置的是一个3*3的矩形，用来做后面的膨胀处理【对一些间隙做填充，平滑作用】
es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) kernel = np.ones((5, 5), np.uint8) background = None # 背景
对灰度图像进行高斯滤波去噪，并将处理后的图像赋给背景，以此作为背景帧。
# 对帧进行预处理 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 转灰度图像 gray = cv2.GaussianBlur(gray, (21, 21), 0) # 高斯滤波（降噪：摄像头震动、光照变化） # 将第一帧设置为整个输入的背景 if background is None: background = gray # 将第一帧做位背景图，此刻background不再是None continue
这里就是用差分和膨胀进行图像处理
diff_img = cv2.absdiff(background, gray) # 获取差分图，就是两幅图做差(第一帧的时候肯定是0) diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1] # 图像二值化处理 diff_img = cv2.dilate(diff_img, es, iterations=2)
然后让我们来看一下效果吧~~ 注意：使用环境要进尽可能光照稳定、场景简单，还有这个并不能对特定的目标进行跟踪。
下面的图就是通过与背景帧差值后跟踪的结果了~
